nach oben

Erschienen in:

2020 | OriginalPaper | Buchkapitel

Single View 3D Reconstruction with Category Information Learning

verfasst von : Weihong Cao, Fei Hu, Long Ye, Qin Zhang

Erschienen in: Digital TV and Wireless Multimedia Communication

Verlag: Springer Singapore

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

3D reconstruction from single image is a classical problem in computer vision. Due to the fact that the information contained in one single image is not sufficient for 3D shape reconstruction, the existing model cannot reconstruct 3D models very well. To tackle this problem, we propose a novel model which effectively utilizes the category information of objects to improve the performance of network on single view 3D reconstruction. Our model consists of two parts: rough shape generation network (RSGN) and category comparison network (CCN). RSGN can learn the characteristics of objects in the same category through the comparison part CCN. In the experiments, we verify the feasibility of our model on the ShapeNet dataset, and the results confirm our framework.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Geometry-Guided View Synthesis with Local Nonuniform Plane-Sweep Volume

Nächstes Kapitel Three-Dimensional Reconstruction of Intravascular Ultrasound Images Based on Deep Learning

Chang, A.X., et al.: ShapeNet: an information-rich 3D model repository. Comput. Sci. (2015)

Xiang, Y., Roozbeh, M., Savarese, S.: Beyond PASCAL: a benchmark for 3D object detection in the wild. In: Workshop on Applications of Computer Vision, pp. 75–82 (2014)

Xiang, Y., et al.: ObjectNet3D: a large scale database for 3D object recognition. In: Leibe, B., Matas, J., Sebe, N., Welling, M. (eds.) ECCV 2016. LNCS, vol. 9912, pp. 160–176. Springer, Cham (2016). https://doi.org/10.1007/978-3-319-46484-8_10CrossRef

Lim, J.J., Pirsiavash, H., Torralba, A.: Parsing IKEA objects: fine pose estimation. In: 2013 IEEE International Conference on Computer Vision (ICCV). IEEE Computer Society (2013)

Sun, X., et al.: Pix3D: dataset and methods for single-image 3D shape modeling. In: Computer Vision and Pattern Recognition, pp. 2974–2983 (2018)

Wu, N.Z., et al.: 3D ShapeNets: a deep representation for volumetric shape modeling. In: 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society (2015)

Lee, H., et al.: Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. In: International Conference on Machine Learning, pp. 609–616 (2009)

Girdhar, R., Fouhey, D.F., Rodriguez, M., Gupta, A.: Learning a predictable and generative vector representation for objects. In: Leibe, B., Matas, J., Sebe, N., Welling, M. (eds.) ECCV 2016. LNCS, vol. 9910, pp. 484–499. Springer, Cham (2016). https://doi.org/10.1007/978-3-319-46466-4_29CrossRef

Choy, C.B., Xu, D., Gwak, J., Chen, K., Savarese, S.: 3D-R2N2: a unified approach for single and multi-view 3D object reconstruction. In: Leibe, B., Matas, J., Sebe, N., Welling, M. (eds.) ECCV 2016. LNCS, vol. 9912, pp. 628–644. Springer, Cham (2016). https://doi.org/10.1007/978-3-319-46484-8_38CrossRef

10.

Hochreiter, S., Schmidhuber, J.: Long short-term memory. Neural Comput. 9(8), 1735–1780 (1997)CrossRef

11.

Yan, X., et al.: Perspective transformer nets: learning single-view 3D object reconstruction without 3D supervision. In: Neural Information Processing Systems, pp. 1696–1704 (2016)

12.

Yang, G., Cui, Y., Belongie, S., Hariharan, B.: Learning single-view 3D reconstruction with limited pose supervision. In: Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y. (eds.) ECCV 2018. LNCS, vol. 11219, pp. 90–105. Springer, Cham (2018). https://doi.org/10.1007/978-3-030-01267-0_6CrossRef

13.

Wu, J., et al.: Single image 3D interpreter network. In: Leibe, B., Matas, J., Sebe, N., Welling, M. (eds.) ECCV 2016. LNCS, vol. 9910, pp. 365–382. Springer, Cham (2016). https://doi.org/10.1007/978-3-319-46466-4_22CrossRef

14.

Novotny, D., Larlus, D., Vedaldi, A.: Learning 3D object categories by looking around them. In: International Conference on Computer Vision, pp. 5228–5237 (2017)

15.

Zhu, R., et al.: Rethinking reprojection: closing the loop for pose-aware shape reconstruction from a single image. In: International Conference on Computer Vision, pp. 57–65 (2017)

16.

Rezende, D.J., et al.: Unsupervised learning of 3D structure from images. arXiv: Computer Vision and Pattern Recognition (2016)

17.

Hane, C., Tulsiani, S., Malik, J.: Hierarchical surface prediction for 3D object reconstruction. In: International Conference on 3D Vision, pp. 412–420 (2017)

18.

Tatarchenko, M., Dosovitskiy, A., Brox, T.: Multi-view 3D models from single images with a convolutional network. In: Leibe, B., Matas, J., Sebe, N., Welling, M. (eds.) ECCV 2016. LNCS, vol. 9911, pp. 322–337. Springer, Cham (2016). https://doi.org/10.1007/978-3-319-46478-7_20CrossRef

19.

Tulsiani, S., et al.: Multi-view supervision for single-view reconstruction via differentiable ray consistency. arXiv: Computer Vision and Pattern Recognition (2017)

20.

Wu, J., et al.: MarrNet: 3D shape reconstruction via 2.5D sketches. In: Neural Information Processing Systems, pp. 540–550 (2017)

21.

Fan, H., Su, H., Guibas, L.J.: A point set generation network for 3D object reconstruction from a single image. In: Computer Vision and Pattern Recognition, pp. 2463–2471 (2017)

22.

Goodfellow, I.J., et al.: Generative adversarial nets. In: Neural Information Processing Systems, pp. 2672–2680 (2014)

23.

Wu, J., et al.: Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling. In: Computer Vision and Pattern Recognition (2016)

24.

Gadelha, M., Maji, S., Wang, R.: 3D shape induction from 2D views of multiple objects. In: International Conference on 3D Vision, pp. 402–411 (2017)

25.

Krizhevsky, A., Sutskever, I., Hinton, G.: ImageNet classification with deep convolutional neural networks. NIPS Curran Associates Inc. (2012)

26.

Tatarchenko, M., et al.: What do single-view 3D reconstruction networks learn? In: Computer Vision and Pattern Recognition (2019)

27.

Wang, N., Zhang, Y., Li, Z., Fu, Y., Liu, W., Jiang, Y.-G.: Pixel2Mesh: generating 3D mesh models from single RGB images. In: Ferrari, V., Hebert, M., Sminchisescu, C., Weiss, Y. (eds.) ECCV 2018. LNCS, vol. 11215, pp. 55–71. Springer, Cham (2018). https://doi.org/10.1007/978-3-030-01252-6_4CrossRef

28.

Groueix, T., et al.: AtlasNet: a Papier-Mâché approach to learning 3D surface generation. In: Computer Vision and Pattern Recognition (2018)

29.

Zhao, Y., et al.: 3D point-capsule networks. In: Computer Vision and Pattern Recognition, pp. 1009–1018 (2018)

30.

Hu, F., et al.: 3D VAE-attention network: a parallel system for single-view 3D reconstruction. In: Pacific Graphics (2018)

Titel: Single View 3D Reconstruction with Category Information Learning
verfasst von: Weihong Cao
Fei Hu
Long Ye
Qin Zhang
Verlag: Springer Singapore
Buch: Digital TV and Wireless Multimedia Communication
Print ISBN: 978-981-15-3340-2

Electronic ISBN: 978-981-15-3341-9

Copyright-Jahr: 2020
DOI: https://doi.org/10.1007/978-981-15-3341-9_33

Neuer Inhalt

Bildnachweise

VDI-Icon, Profil Icon, inhalt2, Springer Professional Modul/© Springer Fachmedien Wiesbaden GmbH, Nachhaltigkeitsaward Key Visual/© Cometis AG/Global ESG Monitor | Daniel Rupp | Generiert mit KI, Search Icon, Banner Hanser, Jonas Klose/© Pine Valley Capital GmbH, Carina Kießling von der Strategieberatung Roland Berger/© Monika Walther Fotografie | ATZ, Beijing Auto Show 2024: Deutsche Hersteller wollen angreifen./© EKH-Pictures / Generated with AI / Stock.adobe.com, Zeitschrift Wissensmanagement Cover, PatentFit-Logo/© Springer Fachmedien Wiesbaden GmbH, Zukunftswerkstatt Sales Excellence 2024/© AndreyPopov / Getty Images / iStock, 2023_Antrieb/© supervisuell, ATZ-Webinar: Prototypenfreie Entwicklung durch Offline- und Driver-in-the-Loop-HiL-Tests /© (c) VI-grade

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Neuer Inhalt

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.