nach oben

Erschienen in:

2016 | OriginalPaper | Buchkapitel

Artistic Style Transfer for Videos

verfasst von : Manuel Ruder, Alexey Dosovitskiy, Thomas Brox

Erschienen in: Pattern Recognition

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

In the past, manually re-drawing an image in a certain artistic style required a professional artist and a long time. Doing this for a video sequence single-handed was beyond imagination. Nowadays computers provide new possibilities. We present an approach that transfers the style from one image (for example, a painting) to a whole video sequence. We make use of recent advances in style transfer in still images and propose new initializations and loss functions applicable to videos. This allows us to generate consistent and stable stylized video sequences, even in cases with large motion and strong occlusion. We show that the proposed method clearly outperforms simpler baselines both qualitatively and quantitatively.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Pixel-Level Encoding and Depth Layering for Instance-Level Semantic Labeling

Nächstes Kapitel Semantically Guided Depth Upsampling

Nur mit Berechtigung zugänglich

GitHub: https://github.com/manuelruder/artistic-videos.

GitHub: https://github.com/jcjohnson/neural-style.

Butler, D.J., Wulff, J., Stanley, G.B., Black, M.J.: A naturalistic open source movie for optical flow evaluation. In: Fitzgibbon, A., Lazebnik, S., Perona, P., Sato, Y., Schmid, C. (eds.) ECCV 2012, Part VI. LNCS, vol. 7577, pp. 611–625. Springer, Heidelberg (2012)

Collobert, R., Kavukcuoglu, K., Farabet, C.: Torch7: A matlab-like environment for machine learning. In: BigLearn, NIPS Workshop (2011)

Gatys, L.A., Ecker, A.S., Bethge, M.: A neural algorithm of artistic style (2015). CoRR abs/1508.06576. http://arxiv.org/abs/1508.06576

Hays, J., Essa, I.: Image and video based painterly animation. In:Proceedings of the 3rd International Symposium on Non-photorealistic Animation and Rendering, NPAR 2004, pp. 113–120. ACM, New York, NY, USA (2004). http://doi.acm.org/10.1145/987657.987676

Li, C., Wand, M.: Combining Markov random fields and convolutional neural networks for image synthesis (2016). CoRR abs/1601.04589. http://arxiv.org/abs/1601.04589

Litwinowicz, P.: Processing images and video for an impressionist effect. In: Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH 1997, pp. 407–414. ACMPress/Addison-Wesley Publishing Co., New York, NY, USA (1997). http://dx.doi.org/10.1145/258734.258893

Nikulin, Y., Novak, R.: Exploring the neural algorithm of artisticstyle (2016). CoRR abs/1602.07188. http://arxiv.org/abs/1602.07188

O’Donovan, P., Hertzmann, A.: Anipaint: interactive painterly animation from video. IEEE Trans. Vis. Comput. Graph. 18(3), 475–487 (2012)CrossRef

Revaud, J., Weinzaepfel, P., Harchaoui, Z., Schmid, C.: EpicFlow: edge-preserving interpolation of correspondences for optical flow. In: CVPR2015 - IEEE Conference on Computer Vision & Pattern Recognition, Boston, United States, June 2015. https://hal.inria.fr/hal-01142656

10.

Simonyan, K., Zisserman, A.: Very deep convolutional networks for large-scale image recognition (2014). CoRR abs/1409.1556. http://arxiv.org/abs/1409.1556

11.

Sundaram, N., Brox, T., Keutzer, K.: Dense point trajectories by GPU-accelerated large displacement optical flow, September 2010. http://lmb.informatik.uni-freiburg.de//Publications/2010/Bro10e

12.

Weinzaepfel, P., Revaud, J., Harchaoui, Z., Schmid, C.: DeepFlow: Large displacement optical flow with deep matching. In: ICCV 2013 - IEEE International Conference on Computer Vision, pp. 1385–1392. IEEE, Sydney, Australia, December 2013. https://hal.inria.fr/hal-00873592

Titel: Artistic Style Transfer for Videos
verfasst von: Manuel Ruder
Alexey Dosovitskiy
Thomas Brox
Verlag: Springer International Publishing
Buch: Pattern Recognition
Print ISBN: 978-3-319-45885-4

Electronic ISBN: 978-3-319-45886-1

Copyright-Jahr: 2016
DOI: https://doi.org/10.1007/978-3-319-45886-1_3

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Premium Partner