Skip to main content
Erschienen in:
Buchtitelbild

2015 | OriginalPaper | Buchkapitel

Multi-view Image Restoration from Plenoptic Raw Images

verfasst von : Shan Xu, Zhi-Liang Zhou, Nicholas Devaney

Erschienen in: Computer Vision - ACCV 2014 Workshops

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We present a reconstruction algorithm that can restore the captured 4D light field from a portable plenoptic camera without the need for calibration images. An efficient and robust estimator is proposed to accurately detect the centers of microlens images. Based on that estimator, parameters that model the centers of microlens array images are obtained by solving a global optimization problem. To further enhance the quality of reconstructed multi-view images, a novel 4D demosaicing algorithm based on kernel regression is also proposed. Our experimental results show that it outperforms state of the art algorithms.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Gabriel, L.: La photographie intégrale. Comptes-Rendus, Académie des Sciences 146, 446–551 (1908) Gabriel, L.: La photographie intégrale. Comptes-Rendus, Académie des Sciences 146, 446–551 (1908)
2.
Zurück zum Zitat Ng, R., Levoy, M., Brédif, M., Duval, G., Horowitz, M., Hanrahan, P.: Light Field Photography with a Hand-Held Plenoptic Camera. Technical report (2005) Ng, R., Levoy, M., Brédif, M., Duval, G., Horowitz, M., Hanrahan, P.: Light Field Photography with a Hand-Held Plenoptic Camera. Technical report (2005)
3.
Zurück zum Zitat Lumsdaine, A., Georgiev, T.: Full resolution lightfield rendering. Technical report, Adobe (2008) Lumsdaine, A., Georgiev, T.: Full resolution lightfield rendering. Technical report, Adobe (2008)
4.
Zurück zum Zitat Veeraraghavan, A., Raskar, R., Agrawal, A., Mohan, A., Tumblin, J.: Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing. In: SIGGRAPH, vol. 26 (2007) Veeraraghavan, A., Raskar, R., Agrawal, A., Mohan, A., Tumblin, J.: Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing. In: SIGGRAPH, vol. 26 (2007)
5.
Zurück zum Zitat Liang, C.K., Lin, T.H., Wong, B.Y., Liu, C., Chen, H.: Programmable aperture photography: multiplexed light field acquisition. In: SIGGRAPH, vol. 27, pp. 55:1–55:10 (2008) Liang, C.K., Lin, T.H., Wong, B.Y., Liu, C., Chen, H.: Programmable aperture photography: multiplexed light field acquisition. In: SIGGRAPH, vol. 27, pp. 55:1–55:10 (2008)
6.
Zurück zum Zitat Georgiev, T., Yu, Z., Lumsdaine, A., Goma, S.: Lytro camera technology: Theory, algorithms, performance analysis. In: MCP, SPIE (2013) Georgiev, T., Yu, Z., Lumsdaine, A., Goma, S.: Lytro camera technology: Theory, algorithms, performance analysis. In: MCP, SPIE (2013)
7.
Zurück zum Zitat Levoy, M., Hanrahan, P.: Light field rendering. In: SIGGRAPH, pp. 31–42 (1996) Levoy, M., Hanrahan, P.: Light field rendering. In: SIGGRAPH, pp. 31–42 (1996)
8.
Zurück zum Zitat Gortler, S.J., Grzeszczuk, R., Szeliski, R., Cohen, M.F.: The lumigraph. In: SIGGRAPH, pp. 43–54 (1996) Gortler, S.J., Grzeszczuk, R., Szeliski, R., Cohen, M.F.: The lumigraph. In: SIGGRAPH, pp. 43–54 (1996)
9.
Zurück zum Zitat Fiss, J., Curless, B., Szeliski, R.: Refocusing plenoptic images using depth-adaptive splatting (2014) Fiss, J., Curless, B., Szeliski, R.: Refocusing plenoptic images using depth-adaptive splatting (2014)
10.
Zurück zum Zitat Tao, M.W., Hadap, S., Malik, J., Ramamoorthi, R.: Depth from combining defocus and correspondence using light-field cameras (2013) Tao, M.W., Hadap, S., Malik, J., Ramamoorthi, R.: Depth from combining defocus and correspondence using light-field cameras (2013)
11.
Zurück zum Zitat Yu, Z., Guo, X., Ling, H., Lumsdaine, A., Yu, J.: Line assisted light field triangulation and stereo matching. In: ICCV. IEEE (2013) Yu, Z., Guo, X., Ling, H., Lumsdaine, A., Yu, J.: Line assisted light field triangulation and stereo matching. In: ICCV. IEEE (2013)
12.
Zurück zum Zitat Lynch, K., Fahringer, T., Thurow, B.: Three-dimensional particle image velocimetry using a plenoptic camera. 50th AIAA Aerospace Sciences Meeting including the New Horizons Forum and Aerospace Exposition (2012) Lynch, K., Fahringer, T., Thurow, B.: Three-dimensional particle image velocimetry using a plenoptic camera. 50th AIAA Aerospace Sciences Meeting including the New Horizons Forum and Aerospace Exposition (2012)
13.
Zurück zum Zitat Garbe, C.S., Voss, B., Stapf, J.: Plenoptic particle streak velocimetry (ppsv): 3d3c fluid flow measurement from light fields with a single plenoptic camera. In: 16th International Symposium on Applications of Laser Techniques to Fluid Mechanics (2012) Garbe, C.S., Voss, B., Stapf, J.: Plenoptic particle streak velocimetry (ppsv): 3d3c fluid flow measurement from light fields with a single plenoptic camera. In: 16th International Symposium on Applications of Laser Techniques to Fluid Mechanics (2012)
14.
Zurück zum Zitat Dansereau, D.G., Pizarro, O., Williams, S.B.: Decoding, calibration and rectification for lenselet-based plenoptic cameras. In: CVPR. IEEE (2013) Dansereau, D.G., Pizarro, O., Williams, S.B.: Decoding, calibration and rectification for lenselet-based plenoptic cameras. In: CVPR. IEEE (2013)
15.
Zurück zum Zitat Cho, D., Lee, M., Kim, S., Tai, Y.W.: Modeling the calibration pipeline of the lytro camera for high quality light-field image reconstruction. In: ICCV. IEEE (2013) Cho, D., Lee, M., Kim, S., Tai, Y.W.: Modeling the calibration pipeline of the lytro camera for high quality light-field image reconstruction. In: ICCV. IEEE (2013)
16.
Zurück zum Zitat Yunsu Bok, H.G.J., Kweon, I.S.: Geometric calibration of micro-lens-based light-field cameras using line features. In: ICCV. IEEE (2014) Yunsu Bok, H.G.J., Kweon, I.S.: Geometric calibration of micro-lens-based light-field cameras using line features. In: ICCV. IEEE (2014)
17.
Zurück zum Zitat Bayer, B.E.: Color image array (1976) Bayer, B.E.: Color image array (1976)
18.
Zurück zum Zitat Georgiev, T.: An analysis of color demosaicing in plenoptic cameras. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), CVPR 2012, pp. 901–908. IEEE Computer Society, Washington, DC (2012) Georgiev, T.: An analysis of color demosaicing in plenoptic cameras. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), CVPR 2012, pp. 901–908. IEEE Computer Society, Washington, DC (2012)
19.
Zurück zum Zitat Xiang Huang, O.C.: Dictionary learning based color demosaicing for plenoptic cameras. In: ICCV. IEEE (2013) Xiang Huang, O.C.: Dictionary learning based color demosaicing for plenoptic cameras. In: ICCV. IEEE (2013)
20.
Zurück zum Zitat Takeda, H., Farsiu, S., Milanfar, P.: Kernel regression for image processing and reconstruction. IEEE Trans. Image Process. 16, 349–366 (2007)CrossRefMathSciNet Takeda, H., Farsiu, S., Milanfar, P.: Kernel regression for image processing and reconstruction. IEEE Trans. Image Process. 16, 349–366 (2007)CrossRefMathSciNet
21.
Zurück zum Zitat Xu, S., Devaney, N.: Vignetting modeling and correction for a microlens-based light field camera. In: IMVIP (2014) Xu, S., Devaney, N.: Vignetting modeling and correction for a microlens-based light field camera. In: IMVIP (2014)
22.
Zurück zum Zitat Sabater, N., Drazic, V., Seifi, M., Sandri, G., Perez, P.: Light-field demultiplexing and disparity estimation (2014) Sabater, N., Drazic, V., Seifi, M., Sandri, G., Perez, P.: Light-field demultiplexing and disparity estimation (2014)
23.
Zurück zum Zitat Nelder, J.A., Mead, R.: A simplex method for function minimization. Comput. J. 7, 308–313 (1965)CrossRefMATH Nelder, J.A., Mead, R.: A simplex method for function minimization. Comput. J. 7, 308–313 (1965)CrossRefMATH
Metadaten
Titel
Multi-view Image Restoration from Plenoptic Raw Images
verfasst von
Shan Xu
Zhi-Liang Zhou
Nicholas Devaney
Copyright-Jahr
2015
DOI
https://doi.org/10.1007/978-3-319-16631-5_1