Skip to main content

2015 | OriginalPaper | Buchkapitel

A Flexible High-Resolution Real-Time Low-Power Stereo Vision Engine

verfasst von : Stefan K. Gehrig, Reto Stalder, Nicolai Schneider

Erschienen in: Computer Vision Systems

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Stereo Vision has been a focus of research for decades. In the meantime, many real-time stereo vision systems are available on low-power platforms. Several products using stereo vision exist on the market. So far, all of them are based on image sizes up to 1 MP. They either use a local correlation-like stereo engine or perform some variant of Semi-Global Matching (SGM).
However, many modern cameras deliver 2 MP images (full High Definition) at framerates beyond 20 Hz. In this contribution we propose a stereo vision engine tailored for automotive and mobile applications, that is able to process 2 MP images in real-time. Note that also the disparity range has to be increased when maintaining the same field of view with higher resolution. We implement the SGM algorithm with search space reduction techniques on a reconfigurable hardware platform, yielding a low power consumption of under 1 W. The algorithm runs at 22 Hz processing 2 MP image pairs and computing disparity maps with up to 255 disparities. The conducted evaluations on the KITTI Dataset and on a challenging bad weather dataset show that full depth resolution is obtained for small disparities and robustness of the method is maintained at a fraction of the resources of a regular SGM engine.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Banz, C., et al.: Real-time stereo vision system using SGM disparity estimation: architecture and FPGA-implementation. In: SAMOS Conference (2010) Banz, C., et al.: Real-time stereo vision system using SGM disparity estimation: architecture and FPGA-implementation. In: SAMOS Conference (2010)
2.
Zurück zum Zitat Banz, C., Blume, H.: Real-time semi-global matching disparity estimation on the GPU using SGM. In: Mobile Vision Workshop ICCV (2011) Banz, C., Blume, H.: Real-time semi-global matching disparity estimation on the GPU using SGM. In: Mobile Vision Workshop ICCV (2011)
3.
Zurück zum Zitat Franke, U., Joos, A.: Real-time stereo vision for urban traffic scene understanding. In: Intelligent Vehicles (2000) Franke, U., Joos, A.: Real-time stereo vision for urban traffic scene understanding. In: Intelligent Vehicles (2000)
4.
Zurück zum Zitat Franke, U. et al.: Making bertha see. In: Computer Vision for Autonomous Vehicles Workshop ICCV (2013) Franke, U. et al.: Making bertha see. In: Computer Vision for Autonomous Vehicles Workshop ICCV (2013)
5.
Zurück zum Zitat Gehrig, S.K., Eberli, F., Meyer, T.: A real-time low-power stereo vision engine using semi-global matching. In: Fritz, M., Schiele, B., Piater, J.H. (eds.) ICVS 2009. LNCS, vol. 5815, pp. 134–143. Springer, Heidelberg (2009) CrossRef Gehrig, S.K., Eberli, F., Meyer, T.: A real-time low-power stereo vision engine using semi-global matching. In: Fritz, M., Schiele, B., Piater, J.H. (eds.) ICVS 2009. LNCS, vol. 5815, pp. 134–143. Springer, Heidelberg (2009) CrossRef
6.
Zurück zum Zitat Gehrig, S., Rabe, C.: Real-time semi-global matching on the CPU. In: ECVW 2010 CVPR, June 2010 Gehrig, S., Rabe, C.: Real-time semi-global matching on the CPU. In: ECVW 2010 CVPR, June 2010
7.
Zurück zum Zitat Geiger, A., Lenz, P., Urtasun, R.: Are we ready for autonomous driving? the KITTI vision benchmark suite. In: CVPR, June 2012 Geiger, A., Lenz, P., Urtasun, R.: Are we ready for autonomous driving? the KITTI vision benchmark suite. In: CVPR, June 2012
8.
Zurück zum Zitat Hirschmueller, H.: Accurate and efficient stereo processing by semi-global matching and mutual information. CVPR 2, 807–814 (2005). (San Francisco, CA) Hirschmueller, H.: Accurate and efficient stereo processing by semi-global matching and mutual information. CVPR 2, 807–814 (2005). (San Francisco, CA)
9.
Zurück zum Zitat Hirschmueller, H., Gehrig, S.: Stereo matching in the presence of sub-pixel calibration errors. In: CVPR, Miami, FL, June 2009 Hirschmueller, H., Gehrig, S.: Stereo matching in the presence of sub-pixel calibration errors. In: CVPR, Miami, FL, June 2009
10.
Zurück zum Zitat Hirschmueller, H., Scharstein, D.: Evaluation of stereo matching costs on images with radiometric distortions. IEEE PAMI 31(9), 1582–1599 (2009)CrossRef Hirschmueller, H., Scharstein, D.: Evaluation of stereo matching costs on images with radiometric distortions. IEEE PAMI 31(9), 1582–1599 (2009)CrossRef
11.
Zurück zum Zitat Hirschueller, H., Buder, M., Ernst, I.: Memory-efficient semi-global matching. In: XXII ISPRS Congress (2012) Hirschueller, H., Buder, M., Ernst, I.: Memory-efficient semi-global matching. In: XXII ISPRS Congress (2012)
12.
Zurück zum Zitat Konolige, K.: Small vision systems. In: Proceedings of the International Symposium on Robotics Research, Hayama, Japan (1997) Konolige, K.: Small vision systems. In: Proceedings of the International Symposium on Robotics Research, Hayama, Japan (1997)
13.
Zurück zum Zitat Muehlmann, K., et al.: Calculating dense disparity maps from color stereo images, an efficient implementation. IJCV 47(1–3), 79–88 (2002)MATHCrossRef Muehlmann, K., et al.: Calculating dense disparity maps from color stereo images, an efficient implementation. IJCV 47(1–3), 79–88 (2002)MATHCrossRef
14.
Zurück zum Zitat Pfeiffer, D., Gehrig, S., Schneider, N.: Exploiting the power of stereo confidences. In: CVPR, June 2013 Pfeiffer, D., Gehrig, S., Schneider, N.: Exploiting the power of stereo confidences. In: CVPR, June 2013
15.
Zurück zum Zitat Sabihuddin, S., MacLean, W.J.: Maximum-likelihood stereo correspondence using field programmable gate arrays. In: ICVS, Bielefeld, Germany, March 2007 Sabihuddin, S., MacLean, W.J.: Maximum-likelihood stereo correspondence using field programmable gate arrays. In: ICVS, Bielefeld, Germany, March 2007
17.
Zurück zum Zitat Schumacher, F., Greiner, T.: Matching cost computation algorithm and high speed fpga architecture for high quality real-time semi global matching stereo vision for road scenes. In: ITSC (2014) Schumacher, F., Greiner, T.: Matching cost computation algorithm and high speed fpga architecture for high quality real-time semi global matching stereo vision for road scenes. In: ITSC (2014)
18.
Zurück zum Zitat Spangenberg, R., Langner, T., Adfeldt, S., Rojas, R.: Large scale semi-global matching on the CPU. In: Intelligent Vehicles (2014) Spangenberg, R., Langner, T., Adfeldt, S., Rojas, R.: Large scale semi-global matching on the CPU. In: Intelligent Vehicles (2014)
20.
Zurück zum Zitat Usami, M., et al.: Stereo vision system for advances vehicle safety system. In: SAE World Congress, Technical paper. 2007–01-0405 (2007) Usami, M., et al.: Stereo vision system for advances vehicle safety system. In: SAE World Congress, Technical paper. 2007–01-0405 (2007)
21.
Zurück zum Zitat Woodfill, J.I., et al.: The TYZX deepsea G2 vision system, a taskable, embedded stereo camera. In: Embedded Computer Vision Workshop. pp. 126–132 (2006) Woodfill, J.I., et al.: The TYZX deepsea G2 vision system, a taskable, embedded stereo camera. In: Embedded Computer Vision Workshop. pp. 126–132 (2006)
22.
Zurück zum Zitat Zabih, R., Woodfill, J.: Non-parametric local transforms for computing visual correspondence. In: Eklundh, J.-O. (ed.) ECCV 1994. LNCS, vol. 801, pp. 151–158. Springer, Heidelberg (1994) Zabih, R., Woodfill, J.: Non-parametric local transforms for computing visual correspondence. In: Eklundh, J.-O. (ed.) ECCV 1994. LNCS, vol. 801, pp. 151–158. Springer, Heidelberg (1994)
Metadaten
Titel
A Flexible High-Resolution Real-Time Low-Power Stereo Vision Engine
verfasst von
Stefan K. Gehrig
Reto Stalder
Nicolai Schneider
Copyright-Jahr
2015
DOI
https://doi.org/10.1007/978-3-319-20904-3_7