Skip to main content

2018 | OriginalPaper | Buchkapitel

Video Compression Through Image Interpolation

verfasst von : Chao-Yuan Wu, Nayan Singhal, Philipp Krähenbühl

Erschienen in: Computer Vision – ECCV 2018

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

An ever increasing amount of our digital communication, media consumption, and content creation revolves around videos. We share, watch, and archive many aspects of our lives through them, all of which are powered by strong video compression. Traditional video compression is laboriously hand designed and hand optimized. This paper presents an alternative in an end-to-end deep learning codec. Our codec builds on one simple idea: Video compression is repeated image interpolation. It thus benefits from recent advances in deep image interpolation and generation. Our deep video codec outperforms today’s prevailing codecs, such as H.261, MPEG-4 Part 2, and performs on par with H.264.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Anhänge
Nur mit Berechtigung zugänglich
Literatur
4.
Zurück zum Zitat Agustsson, E., et al.: Soft-to-hard vector quantization for end-to-end learning compressible representations. In: NIPS (2017) Agustsson, E., et al.: Soft-to-hard vector quantization for end-to-end learning compressible representations. In: NIPS (2017)
5.
Zurück zum Zitat Baig, M.H., Koltun, V., Torresani, L.: Learning to inpaint for image compression. In: NIPS (2017) Baig, M.H., Koltun, V., Torresani, L.: Learning to inpaint for image compression. In: NIPS (2017)
6.
Zurück zum Zitat Ballé, J., Laparra, V., Simoncelli, E.P.: End-to-end optimized image compression. In: ICLR (2017) Ballé, J., Laparra, V., Simoncelli, E.P.: End-to-end optimized image compression. In: ICLR (2017)
7.
Zurück zum Zitat Carreira, J., Zisserman, A.: Quo vadis, action recognition? A new model and the kinetics dataset. In: CVPR (2017) Carreira, J., Zisserman, A.: Quo vadis, action recognition? A new model and the kinetics dataset. In: CVPR (2017)
9.
Zurück zum Zitat Jia, X., De Brabandere, B., Tuytelaars, T., Gool, L.V.: Dynamic filter networks. In: NIPS (2016) Jia, X., De Brabandere, B., Tuytelaars, T., Gool, L.V.: Dynamic filter networks. In: NIPS (2016)
10.
Zurück zum Zitat Jiang, H., Sun, D., Jampani, V., Yang, M.H., Learned-Miller, E., Kautz, J.: Super slomo: high quality estimation of multiple intermediate frames for video interpolation. In: CVPR (2018) Jiang, H., Sun, D., Jampani, V., Yang, M.H., Learned-Miller, E., Kautz, J.: Super slomo: high quality estimation of multiple intermediate frames for video interpolation. In: CVPR (2018)
11.
Zurück zum Zitat Johnston, N., et al.: Improved lossy image compression with priming and spatially adaptive bit rates for recurrent networks (2017). arXiv preprint: arXiv:1703.10114 Johnston, N., et al.: Improved lossy image compression with priming and spatially adaptive bit rates for recurrent networks (2017). arXiv preprint: arXiv:​1703.​10114
13.
Zurück zum Zitat Le Gall, D.: MPEG: a video compression standard for multimedia applications. Commun. ACM 34, 46–58 (1991)CrossRef Le Gall, D.: MPEG: a video compression standard for multimedia applications. Commun. ACM 34, 46–58 (1991)CrossRef
14.
Zurück zum Zitat Liu, Z., Yeh, R., Tang, X., Liu, Y., Agarwala, A.: Video frame synthesis using deep voxel flow. In: ICCV (2017) Liu, Z., Yeh, R., Tang, X., Liu, Y., Agarwala, A.: Video frame synthesis using deep voxel flow. In: ICCV (2017)
15.
Zurück zum Zitat Mathieu, M., Couprie, C., LeCun, Y.: Deep multi-scale video prediction beyond mean square error. In: ICLR (2016) Mathieu, M., Couprie, C., LeCun, Y.: Deep multi-scale video prediction beyond mean square error. In: ICLR (2016)
16.
Zurück zum Zitat Mentzer, F., Agustsson, E., Tschannen, M., Timofte, R., Van Gool, L.: Conditional probability models for deep image compression. In: CVPR (2018) Mentzer, F., Agustsson, E., Tschannen, M., Timofte, R., Van Gool, L.: Conditional probability models for deep image compression. In: CVPR (2018)
17.
Zurück zum Zitat Cisco Visual Networking Index: Forecast and methodology, 2016-2021. CISCO White paper (2016) Cisco Visual Networking Index: Forecast and methodology, 2016-2021. CISCO White paper (2016)
18.
Zurück zum Zitat Niklaus, S., Mai, L., Liu, F.: Video frame interpolation via adaptive separable convolution. In: ICCV (2017) Niklaus, S., Mai, L., Liu, F.: Video frame interpolation via adaptive separable convolution. In: ICCV (2017)
19.
Zurück zum Zitat van den Oord, A., Kalchbrenner, N., Kavukcuoglu, K.: Pixel recurrent neural networks. In: ICML (2016) van den Oord, A., Kalchbrenner, N., Kavukcuoglu, K.: Pixel recurrent neural networks. In: ICML (2016)
20.
Zurück zum Zitat Richardson, I.E.: Video Codec Design: Developing Image and Video Compression Systems. John Wiley & Sons, Chichester (2002)CrossRef Richardson, I.E.: Video Codec Design: Developing Image and Video Compression Systems. John Wiley & Sons, Chichester (2002)CrossRef
21.
Zurück zum Zitat Rippel, O., Bourdev, L.: Real-time adaptive image compression. In: ICML (2017) Rippel, O., Bourdev, L.: Real-time adaptive image compression. In: ICML (2017)
23.
Zurück zum Zitat Schwarz, H., Marpe, D., Wiegand, T.: Overview of the scalable video coding extension of the H.264/AVC standard. TCSVT 17(9), 1103–1120 (2007) Schwarz, H., Marpe, D., Wiegand, T.: Overview of the scalable video coding extension of the H.264/AVC standard. TCSVT 17(9), 1103–1120 (2007)
24.
Zurück zum Zitat Theis, L., Shi, W., Cunningham, A., Huszár, F.: Lossy image compression with compressive autoencoders. In: ICLR (2017) Theis, L., Shi, W., Cunningham, A., Huszár, F.: Lossy image compression with compressive autoencoders. In: ICLR (2017)
25.
Zurück zum Zitat Toderici, G., et al.: Full resolution image compression with recurrent neural networks. In: CVPR (2017) Toderici, G., et al.: Full resolution image compression with recurrent neural networks. In: CVPR (2017)
26.
Zurück zum Zitat Tsai, Y.H., Liu, M.Y., Sun, D., Yang, M.H., Kautz, J.: Learning binary residual representations for domain-specific video streaming. In: AAAI (2018) Tsai, Y.H., Liu, M.Y., Sun, D., Yang, M.H., Kautz, J.: Learning binary residual representations for domain-specific video streaming. In: AAAI (2018)
27.
Zurück zum Zitat Vondrick, C., Pirsiavash, H., Torralba, A.: Generating videos with scene dynamics. In: NIPS (2016) Vondrick, C., Pirsiavash, H., Torralba, A.: Generating videos with scene dynamics. In: NIPS (2016)
28.
Zurück zum Zitat Wang, Z., Simoncelli, E.P., Bovik, A.C.: Multiscale structural similarity for image quality assessment. In: ACSSC (2003) Wang, Z., Simoncelli, E.P., Bovik, A.C.: Multiscale structural similarity for image quality assessment. In: ACSSC (2003)
29.
Zurück zum Zitat Williams, R.J.: Simple statistical gradient-following algorithms for connectionist reinforcement learning. In: Sutton, R.S. (ed.) Reinforcement Learning. The Springer International Series in Engineering and Computer Science (Knowledge Representation, Learning and Expert Systems), vol. 173, pp. 5–23. Springer, Boston (1992). https://doi.org/10.1007/978-1-4615-3618-5_2CrossRef Williams, R.J.: Simple statistical gradient-following algorithms for connectionist reinforcement learning. In: Sutton, R.S. (ed.) Reinforcement Learning. The Springer International Series in Engineering and Computer Science (Knowledge Representation, Learning and Expert Systems), vol. 173, pp. 5–23. Springer, Boston (1992). https://​doi.​org/​10.​1007/​978-1-4615-3618-5_​2CrossRef
30.
Zurück zum Zitat Witten, I.H., Neal, R.M., Cleary, J.G.: Arithmetic coding for data compression. Commun. ACM 30, 520–540 (1987)CrossRef Witten, I.H., Neal, R.M., Cleary, J.G.: Arithmetic coding for data compression. Commun. ACM 30, 520–540 (1987)CrossRef
31.
Zurück zum Zitat Wu, C.Y., Zaheer, M., Hu, H., Manmatha, R., Smola, A.J., Krähenbühl, P.: Compressed video action recognition. In: CVPR (2018) Wu, C.Y., Zaheer, M., Hu, H., Manmatha, R., Smola, A.J., Krähenbühl, P.: Compressed video action recognition. In: CVPR (2018)
32.
Zurück zum Zitat Xue, T., Wu, J., Bouman, K., Freeman, B.: Visual dynamics: Probabilistic future frame synthesis via cross convolutional networks. In: NIPS (2016) Xue, T., Wu, J., Bouman, K., Freeman, B.: Visual dynamics: Probabilistic future frame synthesis via cross convolutional networks. In: NIPS (2016)
Metadaten
Titel
Video Compression Through Image Interpolation
verfasst von
Chao-Yuan Wu
Nayan Singhal
Philipp Krähenbühl
Copyright-Jahr
2018
DOI
https://doi.org/10.1007/978-3-030-01237-3_26