Skip to main content

2017 | OriginalPaper | Buchkapitel

Space-Time Super-Resolution Using Deep Learning Based Framework

verfasst von : Manoj Sharma, Santanu Chaudhury, Brejesh Lall

Erschienen in: Pattern Recognition and Machine Intelligence

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This paper introduces a novel end-to-end deep learning framework to learn space-time super-resolution (SR) process. We propose a coupled deep convolutional auto-encoder (CDCA) which learns the non-linear mapping between convolutional features of up-sampled low-resolution (LR) video sequence patches and convolutional features of high-resolution (HR) video sequence patches. The upsampling in LR video refers to tri-cubic interpolation both in space and time. We also propose a H.264/AVC compatible video space-time SR framework by using learned CDCA, which enables to super-resolve compressed LR video with less computational complexity. The experimental results prove that the proposed H.264/AVC compatible framework performs better than the state-of-art techniques on space-time SR in terms of quality and time complexity.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Dong, C., Loy, C.C., He, K., Tang, X.: Learning a deep convolutional network for image super-resolution. In: Fleet, D., Pajdla, T., Schiele, B., Tuytelaars, T. (eds.) ECCV 2014. LNCS, vol. 8692, pp. 184–199. Springer, Cham (2014). doi:10.1007/978-3-319-10593-2_13 Dong, C., Loy, C.C., He, K., Tang, X.: Learning a deep convolutional network for image super-resolution. In: Fleet, D., Pajdla, T., Schiele, B., Tuytelaars, T. (eds.) ECCV 2014. LNCS, vol. 8692, pp. 184–199. Springer, Cham (2014). doi:10.​1007/​978-3-319-10593-2_​13
2.
Zurück zum Zitat Zeng, K., Yu, J., Wang, R., Li, C., Tao, D.: Coupled deep auto-encoder for single image super-resolution. IEEE Trans. Cybern. 47(1), 27–37 (2015)CrossRef Zeng, K., Yu, J., Wang, R., Li, C., Tao, D.: Coupled deep auto-encoder for single image super-resolution. IEEE Trans. Cybern. 47(1), 27–37 (2015)CrossRef
3.
Zurück zum Zitat Kim, J., Lee, J.K., Lee, K.M.: Accurate image super-resolution using very deep convolutional networks. In: CVPR (2016) Kim, J., Lee, J.K., Lee, K.M.: Accurate image super-resolution using very deep convolutional networks. In: CVPR (2016)
4.
Zurück zum Zitat Mao, X.-J., Shen, C., Yang, Y.-B.: Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections. In: NIPS (2016) Mao, X.-J., Shen, C., Yang, Y.-B.: Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections. In: NIPS (2016)
5.
Zurück zum Zitat Liu, C., Sun, D.: On bayesian adaptive video super-resolution. IEEE Trans. Pattern Anal. Mach. Intell. 36(2), 346–360 (2014)CrossRef Liu, C., Sun, D.: On bayesian adaptive video super-resolution. IEEE Trans. Pattern Anal. Mach. Intell. 36(2), 346–360 (2014)CrossRef
6.
Zurück zum Zitat Faroudja, Y.C.: Video Enhancer, Patent App. PCT/US1993/001,907 (1993) Faroudja, Y.C.: Video Enhancer, Patent App. PCT/US1993/001,907 (1993)
7.
Zurück zum Zitat Kappeler, A., Yoo, S., Dai, Q., Katsaggelos, A.K.: Video super-resolution with convolutional neural networks. IEEE Trans. Comput. Imaging 2(2), 109–122 (2016)CrossRefMathSciNet Kappeler, A., Yoo, S., Dai, Q., Katsaggelos, A.K.: Video super-resolution with convolutional neural networks. IEEE Trans. Comput. Imaging 2(2), 109–122 (2016)CrossRefMathSciNet
8.
Zurück zum Zitat Shi, W., Caballeso, J.: Real time single image and video super-resolution using an efficient sub-pixel convolutional neural networks. In: CVPR (2016) Shi, W., Caballeso, J.: Real time single image and video super-resolution using an efficient sub-pixel convolutional neural networks. In: CVPR (2016)
9.
Zurück zum Zitat Shechtman, E., Caspi, Y., Irani, M.: Space-time super-resolution. IEEE Trans. Pattern Anal. Mach. Intell. 27(4), 531–545 (2005)CrossRefMATH Shechtman, E., Caspi, Y., Irani, M.: Space-time super-resolution. IEEE Trans. Pattern Anal. Mach. Intell. 27(4), 531–545 (2005)CrossRefMATH
10.
Zurück zum Zitat Mudenagudi, U., Banerjee, S., Kalra, P.K.: Space-time super-resolution using graph cut optimization. IEEE Trans. Pattern Anal. Mach. Intell. 33(5), 995–1008 (2011)CrossRef Mudenagudi, U., Banerjee, S., Kalra, P.K.: Space-time super-resolution using graph cut optimization. IEEE Trans. Pattern Anal. Mach. Intell. 33(5), 995–1008 (2011)CrossRef
11.
Zurück zum Zitat Themelis, K.E., Rontogiannis, A.A., Koutroumbas, K.D.: Space-time super-resolution from a single video. In: CVPR (2011) Themelis, K.E., Rontogiannis, A.A., Koutroumbas, K.D.: Space-time super-resolution from a single video. In: CVPR (2011)
12.
Zurück zum Zitat Du, B., Xiong, W., Wu, J., Zhang, L., Tao, D.: Stacked convolutional de-noising auto-encoders for feature representation. IEEE Trans. Cybern. 47(4), 1017–1027 (2016)CrossRef Du, B., Xiong, W., Wu, J., Zhang, L., Tao, D.: Stacked convolutional de-noising auto-encoders for feature representation. IEEE Trans. Cybern. 47(4), 1017–1027 (2016)CrossRef
Metadaten
Titel
Space-Time Super-Resolution Using Deep Learning Based Framework
verfasst von
Manoj Sharma
Santanu Chaudhury
Brejesh Lall
Copyright-Jahr
2017
DOI
https://doi.org/10.1007/978-3-319-69900-4_74

Premium Partner