Skip to main content
Erschienen in: Journal of Scientific Computing 3/2018

11.11.2017

Computations of Optimal Transport Distance with Fisher Information Regularization

verfasst von: Wuchen Li, Penghang Yin, Stanley Osher

Erschienen in: Journal of Scientific Computing | Ausgabe 3/2018

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We propose a fast algorithm to approximate the optimal transport distance. The main idea is to add a Fisher information regularization into the dynamical setting of the problem, originated by Benamou and Brenier. The regularized problem is shown to be smooth and strictly convex, thus many classical fast algorithms are available. In this paper, we adopt Newton’s method, which converges to the minimizer with a quadratic rate. Several numerical examples are provided.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Benamou, J.-D., Brenier, Y.: A computational fluid mechanics solution to the Monge–Kantorovich mass transfer problem. Numerische Mathematik 84(3), 375–393 (2000)MathSciNetCrossRefMATH Benamou, J.-D., Brenier, Y.: A computational fluid mechanics solution to the Monge–Kantorovich mass transfer problem. Numerische Mathematik 84(3), 375–393 (2000)MathSciNetCrossRefMATH
2.
Zurück zum Zitat Carlen, E.: Stochastic mechanics: a look back and a look ahead. Diffus. Quant. Theory Radic. Elem. Math. 47, 117–139 (2014)MathSciNet Carlen, E.: Stochastic mechanics: a look back and a look ahead. Diffus. Quant. Theory Radic. Elem. Math. 47, 117–139 (2014)MathSciNet
3.
Zurück zum Zitat Chambolle, A., Pock, T.: A first-order primal-dual algorithm for convex problems with applications to imaging. J. Math. Imaging Vis. 40(1), 120–145 (2011)MathSciNetCrossRefMATH Chambolle, A., Pock, T.: A first-order primal-dual algorithm for convex problems with applications to imaging. J. Math. Imaging Vis. 40(1), 120–145 (2011)MathSciNetCrossRefMATH
4.
Zurück zum Zitat Chizat, L., Peyré, G., Schmitzer, B., Vialard, F.-X.: : An Interpolating Distance Between Optimal Transport and Fisher–Rao Metrics, Foundations of Computational Mathematics, pp. 1–44. Springer, Berlin (2016) Chizat, L., Peyré, G., Schmitzer, B., Vialard, F.-X.: : An Interpolating Distance Between Optimal Transport and Fisher–Rao Metrics, Foundations of Computational Mathematics, pp. 1–44. Springer, Berlin (2016)
5.
Zurück zum Zitat Chen, Y., Georgiou, T., Pavon, M.: On the relation between optimal transport and Schrödinger bridges: a stochastic control viewpoint. J. Optim. Theory Appl. 169(2), 671–691 (2016)MathSciNetCrossRefMATH Chen, Y., Georgiou, T., Pavon, M.: On the relation between optimal transport and Schrödinger bridges: a stochastic control viewpoint. J. Optim. Theory Appl. 169(2), 671–691 (2016)MathSciNetCrossRefMATH
6.
Zurück zum Zitat Chen, Y., Georgiou, T., Pavon, M.: Entropic and displacement interpolation: a computational approach using the Hilbert metric. SIAM J. Appl. Math. 76(6), 2375–2396 (2016)MathSciNetCrossRefMATH Chen, Y., Georgiou, T., Pavon, M.: Entropic and displacement interpolation: a computational approach using the Hilbert metric. SIAM J. Appl. Math. 76(6), 2375–2396 (2016)MathSciNetCrossRefMATH
7.
Zurück zum Zitat Chow, S.-N., Huang, W., Li, Y., Zhou, H.: Fokker-Planck equations for a free energy functional or Markov process on a graph. Arch. Ration. Mech. Anal. 203(3), 969–1008 (2012)MathSciNetCrossRefMATH Chow, S.-N., Huang, W., Li, Y., Zhou, H.: Fokker-Planck equations for a free energy functional or Markov process on a graph. Arch. Ration. Mech. Anal. 203(3), 969–1008 (2012)MathSciNetCrossRefMATH
9.
Zurück zum Zitat Chow, S-N., Dieci, L., Li, W., Zhou, H.: Entropy dissipation semi-discretization schemes for Fokker–Planck equations. arXiv:1608.02628 (2016) Chow, S-N., Dieci, L., Li, W., Zhou, H.: Entropy dissipation semi-discretization schemes for Fokker–Planck equations. arXiv:​1608.​02628 (2016)
10.
11.
Zurück zum Zitat Cuturi, M.: Sinkhorn distances: Lightspeed computation of optimal transport. In: Conference on Neural Information Processing Systems (NIPS13), pp. 2292–2300, (2013) Cuturi, M.: Sinkhorn distances: Lightspeed computation of optimal transport. In: Conference on Neural Information Processing Systems (NIPS13), pp. 2292–2300, (2013)
12.
Zurück zum Zitat Evans, L.: Partial differential equations and Monge–Kantorovich mass transfer. Curr. Dev. Math. 1, 65–126 (1997)CrossRefMATH Evans, L.: Partial differential equations and Monge–Kantorovich mass transfer. Curr. Dev. Math. 1, 65–126 (1997)CrossRefMATH
13.
Zurück zum Zitat Evans, L., Gangbo, W.: Differential Equations Methods for the Monge–Kantorovich Mass Transfer Problem. American Mathematical Society, Providence, RI (1999)MATH Evans, L., Gangbo, W.: Differential Equations Methods for the Monge–Kantorovich Mass Transfer Problem. American Mathematical Society, Providence, RI (1999)MATH
14.
Zurück zum Zitat Roy Frieden, B.: Science from Fisher Information: A Unification. Cambridge University Press, Cambridge (2004)CrossRefMATH Roy Frieden, B.: Science from Fisher Information: A Unification. Cambridge University Press, Cambridge (2004)CrossRefMATH
15.
Zurück zum Zitat Gangbo, W., Li, W., Mou, C.: Schrödinger bridge problem on a graph via optimal transport, (2017) Gangbo, W., Li, W., Mou, C.: Schrödinger bridge problem on a graph via optimal transport, (2017)
16.
Zurück zum Zitat Haber, E., Horesh, R.: A multilevel method for the solution of time dependent optimal transport. Numer. Math. Theory Methods Appl. 8(1), 97–111 (2015)MathSciNetCrossRefMATH Haber, E., Horesh, R.: A multilevel method for the solution of time dependent optimal transport. Numer. Math. Theory Methods Appl. 8(1), 97–111 (2015)MathSciNetCrossRefMATH
17.
Zurück zum Zitat LeCun, Y., Bottou, L., Bengio, Y., Haffner, P.: Gradient-based learning applied to document recognition. Proc. IEEE 86(11), 2278–2324 (1998)CrossRef LeCun, Y., Bottou, L., Bengio, Y., Haffner, P.: Gradient-based learning applied to document recognition. Proc. IEEE 86(11), 2278–2324 (1998)CrossRef
18.
Zurück zum Zitat Lee, J.D., Sun, Y., Saunders, M.A.: Proximal Newton-type methods for convex optimization. In: Advances in Neural Information Processing Systems (NIPS), vol 25 (2012) Lee, J.D., Sun, Y., Saunders, M.A.: Proximal Newton-type methods for convex optimization. In: Advances in Neural Information Processing Systems (NIPS), vol 25 (2012)
19.
Zurück zum Zitat Léonard, C.: A survey of the Schrödinger problem and some of its connections with optimal transport. arXiv preprint arXiv:1308.0215, (2013) Léonard, C.: A survey of the Schrödinger problem and some of its connections with optimal transport. arXiv preprint arXiv:​1308.​0215, (2013)
21.
Zurück zum Zitat Métivier, L., Brossier, R., Mérigot, Q., Oudet, E., Virieux, J.: Measuring the misfit between seismograms using an optimal transport distance: application to full waveform inversion. Geophys. J. Int. 205(1), 345–377 (2016)CrossRefMATH Métivier, L., Brossier, R., Mérigot, Q., Oudet, E., Virieux, J.: Measuring the misfit between seismograms using an optimal transport distance: application to full waveform inversion. Geophys. J. Int. 205(1), 345–377 (2016)CrossRefMATH
22.
Zurück zum Zitat Nelson, E.: Derivation of the Schrödinger equation from Newtonian mechanics. Phys. Rev. 150(4), 1966 (1079) Nelson, E.: Derivation of the Schrödinger equation from Newtonian mechanics. Phys. Rev. 150(4), 1966 (1079)
23.
Zurück zum Zitat Papadakis, N., Peyré, G., Oudet, E.: Optimal transport with proximal splitting. SIAM J. Imaging Sci. 7(1), 212–238 (2014). SIAM Papadakis, N., Peyré, G., Oudet, E.: Optimal transport with proximal splitting. SIAM J. Imaging Sci. 7(1), 212–238 (2014). SIAM
24.
Zurück zum Zitat Rubner, Y., Tomasi, C., Guibas, L.: The Earth mover’s distance as a metric for image retrieval. Int. J. Comput. Vis. 40(2), 99–121 (2000)CrossRefMATH Rubner, Y., Tomasi, C., Guibas, L.: The Earth mover’s distance as a metric for image retrieval. Int. J. Comput. Vis. 40(2), 99–121 (2000)CrossRefMATH
25.
Zurück zum Zitat Rudin, L., Osher, S.: Fatemi, Emad: Nonlinear total variation based noise removal algorithms. Phys. D Nonlinear Phenom. 60, 259–268 (1992)CrossRefMATH Rudin, L., Osher, S.: Fatemi, Emad: Nonlinear total variation based noise removal algorithms. Phys. D Nonlinear Phenom. 60, 259–268 (1992)CrossRefMATH
26.
Zurück zum Zitat Santambrogio, F.: Optimal Transport for Applied Mathematicians. Birkuser, Basel (2015)CrossRefMATH Santambrogio, F.: Optimal Transport for Applied Mathematicians. Birkuser, Basel (2015)CrossRefMATH
27.
Zurück zum Zitat Schrödinger, E.: Quantisierung als Eigenwertproblem (zweite Mitteilung). Annalen der Physik 79, 489–527 (1926)CrossRefMATH Schrödinger, E.: Quantisierung als Eigenwertproblem (zweite Mitteilung). Annalen der Physik 79, 489–527 (1926)CrossRefMATH
28.
Zurück zum Zitat Villani, C.: Optimal Transport: Old and New, vol. 338. Springer Science & Business Media, Berlin (2008)MATH Villani, C.: Optimal Transport: Old and New, vol. 338. Springer Science & Business Media, Berlin (2008)MATH
29.
Zurück zum Zitat Wuchen, L.: A study of stochastic differential equations and Fokker–Planck equations with applications. Ph.D. thesis, (2016) Wuchen, L.: A study of stochastic differential equations and Fokker–Planck equations with applications. Ph.D. thesis, (2016)
30.
Zurück zum Zitat Wuchen, L., Ernest, R., Stanley, O., Wotao, Y., Wilfrid, G.: A fast algorithm for earth mover’s distance based on optimal transport and \(L_1\) type regularization. arXiv:1609.07092, (2016) Wuchen, L., Ernest, R., Stanley, O., Wotao, Y., Wilfrid, G.: A fast algorithm for earth mover’s distance based on optimal transport and \(L_1\) type regularization. arXiv:​1609.​07092, (2016)
31.
Zurück zum Zitat Wuchen, L., Penghang, Y., Stanley, O.: A fast algorithm for unbalanced \(L_1\) Monge–Katorvich problem. CAM report, (2016) Wuchen, L., Penghang, Y., Stanley, O.: A fast algorithm for unbalanced \(L_1\) Monge–Katorvich problem. CAM report, (2016)
Metadaten
Titel
Computations of Optimal Transport Distance with Fisher Information Regularization
verfasst von
Wuchen Li
Penghang Yin
Stanley Osher
Publikationsdatum
11.11.2017
Verlag
Springer US
Erschienen in
Journal of Scientific Computing / Ausgabe 3/2018
Print ISSN: 0885-7474
Elektronische ISSN: 1573-7691
DOI
https://doi.org/10.1007/s10915-017-0599-0

Weitere Artikel der Ausgabe 3/2018

Journal of Scientific Computing 3/2018 Zur Ausgabe