Skip to main content

2022 | OriginalPaper | Buchkapitel

A fresh Take on ‘Barker Dynamics’ for MCMC

verfasst von : Max Hird, Samuel Livingstone, Giacomo Zanella

Erschienen in: Monte Carlo and Quasi-Monte Carlo Methods

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We study a recently introduced gradient-based Markov chain Monte Carlo method based on ‘Barker dynamics’. We provide a full derivation of the method from first principles, placing it within a wider class of continuous-time Markov jump processes. We then evaluate the Barker approach numerically on a challenging ill-conditioned logistic regression example with imbalanced data, showing in particular that the algorithm is remarkably robust to irregularity (in this case a high degree of skew) in the target distribution.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Andrieu, C., Thoms, J.: A tutorial on adaptive MCMC. Stat. Comput. 18(4), 343–373 (2008) Andrieu, C., Thoms, J.: A tutorial on adaptive MCMC. Stat. Comput. 18(4), 343–373 (2008)
2.
Zurück zum Zitat Azzalini, A., Regoli, G.: Some properties of skew-symmetric distributions. Ann. Inst. Stat. Math. 64(4), 857–879 (2012) Azzalini, A., Regoli, G.: Some properties of skew-symmetric distributions. Ann. Inst. Stat. Math. 64(4), 857–879 (2012)
3.
Zurück zum Zitat Barker, A.A.: Monte Carlo calculations of the radial distribution functions for a proton-electron plasma. Australian J. Phys. 18(2), 119–134 (1965) Barker, A.A.: Monte Carlo calculations of the radial distribution functions for a proton-electron plasma. Australian J. Phys. 18(2), 119–134 (1965)
4.
Zurück zum Zitat Brosse, N., Durmus, A., Moulines, É., Sabanis, S.: The tamed unadjusted Langevin algorithm. Stoch. Process. Their Appl. 129(10), 3638–3663 (2019) Brosse, N., Durmus, A., Moulines, É., Sabanis, S.: The tamed unadjusted Langevin algorithm. Stoch. Process. Their Appl. 129(10), 3638–3663 (2019)
5.
Zurück zum Zitat Chopin, N., Ridgway, J., et al.: Leave Pima Indians alone: binary regression as a benchmark for Bayesian computation. Stat. Sci. 32(1), 64–87 (2017) Chopin, N., Ridgway, J., et al.: Leave Pima Indians alone: binary regression as a benchmark for Bayesian computation. Stat. Sci. 32(1), 64–87 (2017)
6.
Zurück zum Zitat Dalalyan, A.S., Karagulyan, A.: User-friendly guarantees for the Langevin Monte Carlo with inaccurate gradient. Stoch. Process. Their Appl. 129(12), 5278–5311 (2019) Dalalyan, A.S., Karagulyan, A.: User-friendly guarantees for the Langevin Monte Carlo with inaccurate gradient. Stoch. Process. Their Appl. 129(12), 5278–5311 (2019)
7.
Zurück zum Zitat Durmus, A., Moulines, E., et al.: Nonasymptotic convergence analysis for the unadjusted Langevin algorithm. Ann. Appl. Prob. 27(3), 1551–1587 (2017) Durmus, A., Moulines, E., et al.: Nonasymptotic convergence analysis for the unadjusted Langevin algorithm. Ann. Appl. Prob. 27(3), 1551–1587 (2017)
8.
Zurück zum Zitat Dwivedi, R., Chen, Y., Wainwright, M.J., Yu, B.: Log-concave sampling: Metropolis-Hastings algorithms are fast! In: Conference on Learning Theory, pp. 793–797. PMLR (2018) Dwivedi, R., Chen, Y., Wainwright, M.J., Yu, B.: Log-concave sampling: Metropolis-Hastings algorithms are fast! In: Conference on Learning Theory, pp. 793–797. PMLR (2018)
9.
Zurück zum Zitat Girolami, M., Calderhead, B.: Riemann manifold Langevin and Hamiltonian Monte Carlo methods. J. R. Stat. Soc.: Ser. B (Statistical Methodology) 73(2), 123–214 (2011) Girolami, M., Calderhead, B.: Riemann manifold Langevin and Hamiltonian Monte Carlo methods. J. R. Stat. Soc.: Ser. B (Statistical Methodology) 73(2), 123–214 (2011)
10.
Zurück zum Zitat Hastings, W.K.: Monte Carlo sampling methods using Markov chains and their applications. Biometrika 97–109 (1970) Hastings, W.K.: Monte Carlo sampling methods using Markov chains and their applications. Biometrika 97–109 (1970)
11.
Zurück zum Zitat Johndrow, J.E., Smith, A., Pillai, N., Dunson, D.B.: MCMC for imbalanced categorical data. J. Am. Stat. Assoc. 114(527), 1394–1403 (2019) Johndrow, J.E., Smith, A., Pillai, N., Dunson, D.B.: MCMC for imbalanced categorical data. J. Am. Stat. Assoc. 114(527), 1394–1403 (2019)
12.
Zurück zum Zitat Livingstone, S., Faulkner, M.F., Roberts, G.O.: Kinetic energy choice in Hamiltonian/hybrid Monte Carlo. Biometrika 106(2), 303–319 (2019) Livingstone, S., Faulkner, M.F., Roberts, G.O.: Kinetic energy choice in Hamiltonian/hybrid Monte Carlo. Biometrika 106(2), 303–319 (2019)
13.
Zurück zum Zitat Livingstone, S., Girolami, M.: Information-geometric Markov chain Monte Carlo methods using diffusions. Entropy 16(6), 3074–3102 (2014) Livingstone, S., Girolami, M.: Information-geometric Markov chain Monte Carlo methods using diffusions. Entropy 16(6), 3074–3102 (2014)
14.
Zurück zum Zitat Livingstone, S., Zanella, G.: The Barker proposal: combining robustness and efficiency in gradient-based MCMC (2019). arXiv:1908.11812 Livingstone, S., Zanella, G.: The Barker proposal: combining robustness and efficiency in gradient-based MCMC (2019). arXiv:​1908.​11812
15.
Zurück zum Zitat Lu, X., Perrone, V., Hasenclever, L., Teh, Y.W., Vollmer, S.: Relativistic Monte Carlo. In: Artificial Intelligence and Statistics, pp. 1236–1245. PMLR (2017) Lu, X., Perrone, V., Hasenclever, L., Teh, Y.W., Vollmer, S.: Relativistic Monte Carlo. In: Artificial Intelligence and Statistics, pp. 1236–1245. PMLR (2017)
16.
Zurück zum Zitat Metropolis, N., Rosenbluth, A.W., Rosenbluth, M.N., Teller, A.H., Teller, E.: Equation of state calculations by fast computing machines. J. Chem. Phys. 21(6), 1087–1092 (1953) Metropolis, N., Rosenbluth, A.W., Rosenbluth, M.N., Teller, A.H., Teller, E.: Equation of state calculations by fast computing machines. J. Chem. Phys. 21(6), 1087–1092 (1953)
17.
Zurück zum Zitat Peskun, P.H.: Optimum Monte-Carlo sampling using Markov chains. Biometrika 60(3), 607–612 (1973) Peskun, P.H.: Optimum Monte-Carlo sampling using Markov chains. Biometrika 60(3), 607–612 (1973)
18.
19.
Zurück zum Zitat Roberts, G.O., Rosenthal, J.S.: Optimal scaling of discrete approximations to Langevin diffusions. J. R. Stat. Soc.: Ser. B (Statistical Methodology) 60(1), 255–268 (1998) Roberts, G.O., Rosenthal, J.S.: Optimal scaling of discrete approximations to Langevin diffusions. J. R. Stat. Soc.: Ser. B (Statistical Methodology) 60(1), 255–268 (1998)
20.
Zurück zum Zitat Roberts, G.O., Rosenthal, J.S.: General state space Markov chains and MCMC algorithms. Probab. Surv. 1, 20–71 (2004) Roberts, G.O., Rosenthal, J.S.: General state space Markov chains and MCMC algorithms. Probab. Surv. 1, 20–71 (2004)
21.
Zurück zum Zitat Roberts, G.O., Tweedie, R.L., et al.: Exponential convergence of Langevin distributions and their discrete approximations. Bernoulli 2(4), 341–363 (1996) Roberts, G.O., Tweedie, R.L., et al.: Exponential convergence of Langevin distributions and their discrete approximations. Bernoulli 2(4), 341–363 (1996)
22.
Zurück zum Zitat Tierney, L.: A note on Metropolis-Hastings kernels for general state spaces. Ann. Appl. Prob. 1–9 (1998) Tierney, L.: A note on Metropolis-Hastings kernels for general state spaces. Ann. Appl. Prob. 1–9 (1998)
23.
Zurück zum Zitat Zanella, G.: Informed proposals for local MCMC in discrete spaces. J. Am. Stat. Assoc. 115(530), 852–865 (2020) Zanella, G.: Informed proposals for local MCMC in discrete spaces. J. Am. Stat. Assoc. 115(530), 852–865 (2020)
Metadaten
Titel
A fresh Take on ‘Barker Dynamics’ for MCMC
verfasst von
Max Hird
Samuel Livingstone
Giacomo Zanella
Copyright-Jahr
2022
DOI
https://doi.org/10.1007/978-3-030-98319-2_8

Premium Partner