Skip to main content

2017 | OriginalPaper | Buchkapitel

Efficient Multi-scale Plane Extraction Based RGBD Video Segmentation

verfasst von : Hong Liu, Jun Wang, Xiangdong Wang, Yueliang Qian

Erschienen in: MultiMedia Modeling

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

To improve the robustness and efficiency of RGBD video segmentation, we propose a novel video segmentation method combining multi-scale plane extraction and hierarchical graph-based video segmentation. Firstly, to reduce depth data noise, we extract plane structures of 3D RGBD point clouds in three levels including voxel, pixel and neighborhood with geometry and color features. To solve uneven distribution of depth data and object occlusion problem, we further propose multi-scale voxel based plane fusion algorithm and use amodal completion strategy to improve plane extraction performance. Then hierarchical graph-based RGBD video segmentation is used to segment the rest of the non-plane pixels. Finally, we fuse above plane extraction and video segmentation results to get final RGBD video scene segmentation results. The qualitative and quantitative results of plane extraction and RGBD scene video segmentation show the effectiveness of proposed methods.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Paris, S., Durand, F.: A topological approach to hierarchical segmentation using mean shift. In: CVPR (2007) Paris, S., Durand, F.: A topological approach to hierarchical segmentation using mean shift. In: CVPR (2007)
2.
Zurück zum Zitat Shi, J., Malik, J.: Normalized cuts and image segmentation. TPAMI 22(8), 888–905 (2000)CrossRef Shi, J., Malik, J.: Normalized cuts and image segmentation. TPAMI 22(8), 888–905 (2000)CrossRef
3.
Zurück zum Zitat Sharon, E., Galun, M., Sharon, D., Basri, R., Brandt, A.: Hierarchy and adaptivity in segmenting visual scenes. Nature 442(7104), 810–813 (2006)CrossRef Sharon, E., Galun, M., Sharon, D., Basri, R., Brandt, A.: Hierarchy and adaptivity in segmenting visual scenes. Nature 442(7104), 810–813 (2006)CrossRef
4.
Zurück zum Zitat Felzenszwalb, P.F., Huttenlocher, D.P.: Efficient graph-based image segmentation. IJCV 2(59), 167–181 (2004)CrossRef Felzenszwalb, P.F., Huttenlocher, D.P.: Efficient graph-based image segmentation. IJCV 2(59), 167–181 (2004)CrossRef
5.
Zurück zum Zitat Stuckler, J., Behnke, S.: Efficient dense rigid-body motion segmentation and estimation in RGB-D video. IJCV 113(3), 233–245 (2015)MathSciNetCrossRef Stuckler, J., Behnke, S.: Efficient dense rigid-body motion segmentation and estimation in RGB-D video. IJCV 113(3), 233–245 (2015)MathSciNetCrossRef
6.
Zurück zum Zitat Song, J.K., Gao, L.L., Pusca M.M., et al.: Joint graph learning and video segmentation via multiple cues and topology calibration. In: ACM MM (2016) Song, J.K., Gao, L.L., Pusca M.M., et al.: Joint graph learning and video segmentation via multiple cues and topology calibration. In: ACM MM (2016)
7.
Zurück zum Zitat Xu, C., Corso, J.J.: Evaluation of super-voxel methods for early video processing. In: CVPR (2012) Xu, C., Corso, J.J.: Evaluation of super-voxel methods for early video processing. In: CVPR (2012)
8.
Zurück zum Zitat Corso, J.J., Sharon, E., et al.: Efficient multilevel brain tumor segmentation with integrated Bayesian model classification. IEEE Trans. Med. Imaging 27(5), 629–640 (2008)CrossRef Corso, J.J., Sharon, E., et al.: Efficient multilevel brain tumor segmentation with integrated Bayesian model classification. IEEE Trans. Med. Imaging 27(5), 629–640 (2008)CrossRef
9.
Zurück zum Zitat Felzenszwalb, P.F., Huttenlocher, D.P.: Efficient graph-based image segmentation. IJCV 59(2), 167–181 (2004) Felzenszwalb, P.F., Huttenlocher, D.P.: Efficient graph-based image segmentation. IJCV 59(2), 167–181 (2004)
10.
Zurück zum Zitat Gupta, S., Arbeláez, P., Malik, J.: Perceptual organization and recognition of indoor scenes from RGB-D images. In: CVPR (2013) Gupta, S., Arbeláez, P., Malik, J.: Perceptual organization and recognition of indoor scenes from RGB-D images. In: CVPR (2013)
11.
Zurück zum Zitat Grundmann, M., Kwatra, V., et al.: Efficient hierarchical graph-based video segmentation. In: CVPR (2010) Grundmann, M., Kwatra, V., et al.: Efficient hierarchical graph-based video segmentation. In: CVPR (2010)
12.
Zurück zum Zitat Fowlkes, C., Belongie, S., et al.: Spectral grouping using the Nystrom method. TPAMI 26(2), 214–225 (2004)CrossRef Fowlkes, C., Belongie, S., et al.: Spectral grouping using the Nystrom method. TPAMI 26(2), 214–225 (2004)CrossRef
13.
Zurück zum Zitat Steven, H., Stan B., et al.: Efficient hierarchical graph-based segmentation of RGBD videos. In: CVPR (2014) Steven, H., Stan B., et al.: Efficient hierarchical graph-based segmentation of RGBD videos. In: CVPR (2014)
14.
Zurück zum Zitat Wang, Z., Liu, H., Qian, Y., Xu, T.: Real-time plane segmentation and obstacle detection of 3D point clouds for indoor scenes. In: Fusiello, A., Murino, V., Cucchiara, R. (eds.) ECCV 2012. LNCS, vol. 7584, pp. 22–31. Springer, Heidelberg (2012). doi:10.1007/978-3-642-33868-7_3 CrossRef Wang, Z., Liu, H., Qian, Y., Xu, T.: Real-time plane segmentation and obstacle detection of 3D point clouds for indoor scenes. In: Fusiello, A., Murino, V., Cucchiara, R. (eds.) ECCV 2012. LNCS, vol. 7584, pp. 22–31. Springer, Heidelberg (2012). doi:10.​1007/​978-3-642-33868-7_​3 CrossRef
15.
Zurück zum Zitat Wang, Z., Liu, H., Wang, X.D., Qian, Y.L.: Segment and label indoor scene based on RGB-D for the visually impaired. In: MMM (2014) Wang, Z., Liu, H., Wang, X.D., Qian, Y.L.: Segment and label indoor scene based on RGB-D for the visually impaired. In: MMM (2014)
17.
Zurück zum Zitat Holz, D., Holzer, S., Rusu, R.B., Behnke, S.: Real-time plane segmentation using RGB-D cameras. In: Röfer, T., Mayer, N.,Michael, Savage, J., Saranlı, U. (eds.) RoboCup 2011. LNCS (LNAI), vol. 7416, pp. 306–317. Springer, Heidelberg (2012). doi:10.1007/978-3-642-32060-6_26 CrossRef Holz, D., Holzer, S., Rusu, R.B., Behnke, S.: Real-time plane segmentation using RGB-D cameras. In: Röfer, T., Mayer, N.,Michael, Savage, J., Saranlı, U. (eds.) RoboCup 2011. LNCS (LNAI), vol. 7416, pp. 306–317. Springer, Heidelberg (2012). doi:10.​1007/​978-3-642-32060-6_​26 CrossRef
18.
Zurück zum Zitat Dube, D., Zell, A.: Real-time plane extraction from depth images with the randomized Hough transform. In: ICCV Workshops (2011) Dube, D., Zell, A.: Real-time plane extraction from depth images with the randomized Hough transform. In: ICCV Workshops (2011)
19.
Zurück zum Zitat Liu, H., Wang, J., Qian, Y. L., Wang, X.D.: iSee: obstacle detection and feedback system for the blind. In: UbiComp (2015) Liu, H., Wang, J., Qian, Y. L., Wang, X.D.: iSee: obstacle detection and feedback system for the blind. In: UbiComp (2015)
Metadaten
Titel
Efficient Multi-scale Plane Extraction Based RGBD Video Segmentation
verfasst von
Hong Liu
Jun Wang
Xiangdong Wang
Yueliang Qian
Copyright-Jahr
2017
DOI
https://doi.org/10.1007/978-3-319-51811-4_50

Neuer Inhalt