Skip to main content

2013 | OriginalPaper | Buchkapitel

10. PAC-Bayesian Theory

verfasst von : David McAllester, Takintayo Akinbiyi

Erschienen in: Empirical Inference

Verlag: Springer Berlin Heidelberg

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

The PAC-Bayesian framework is a frequentist approach to machine learning which encodes learner bias as a “prior probability” over hypotheses. This chapter reviews basic PAC-Bayesian theory, including Catoni’s basic inequality and Catoni’s localization theorem.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Boser, B.E., Guyon, I.M., Vapnik, V.N.: A training algorithm for optimal margin classifiers. In: Proceedings of the 5th Annual Workshop on Computational Learning Theory, Pittsburgh, pp. 144–152. ACM (1992) Boser, B.E., Guyon, I.M., Vapnik, V.N.: A training algorithm for optimal margin classifiers. In: Proceedings of the 5th Annual Workshop on Computational Learning Theory, Pittsburgh, pp. 144–152. ACM (1992)
2.
Zurück zum Zitat Catoni, O.: PAC-Bayesian supervised classification: the thermodynamics of statistical learning. arXiv:0712.0248 (2007, preprint) Catoni, O.: PAC-Bayesian supervised classification: the thermodynamics of statistical learning. arXiv:0712.0248 (2007, preprint)
3.
Zurück zum Zitat Germain, P., Lacasse, A., Laviolette, F., Marchand, M.: PAC-Bayesian learning of linear classifiers. In: Proceedings of the 26th Annual International Conference on Machine Learning, Montreal, pp. 353–360. ACM (2009) Germain, P., Lacasse, A., Laviolette, F., Marchand, M.: PAC-Bayesian learning of linear classifiers. In: Proceedings of the 26th Annual International Conference on Machine Learning, Montreal, pp. 353–360. ACM (2009)
4.
5.
Zurück zum Zitat Langford, J.: Tutorial on practical prediction theory for classification. J. Mach. Learn. Res. 6(1), 273 (2006)MathSciNet Langford, J.: Tutorial on practical prediction theory for classification. J. Mach. Learn. Res. 6(1), 273 (2006)MathSciNet
6.
Zurück zum Zitat Langford, J., Blum, A.: Microchoice bounds and self bounding learning algorithms. In: Proceedings of the 12th Annual Conference on Computational Learning Theory, Santa Cruz, pp. 209–214. ACM (1999) Langford, J., Blum, A.: Microchoice bounds and self bounding learning algorithms. In: Proceedings of the 12th Annual Conference on Computational Learning Theory, Santa Cruz, pp. 209–214. ACM (1999)
7.
Zurück zum Zitat Lever, G., Laviolette, F., Shawe-Taylor, J.: Distribution-dependent PAC-Bayes priors. In: Algorithmic Learning Theory, pp. 119–133. Springer, Berlin/Heidelberg (2010) Lever, G., Laviolette, F., Shawe-Taylor, J.: Distribution-dependent PAC-Bayes priors. In: Algorithmic Learning Theory, pp. 119–133. Springer, Berlin/Heidelberg (2010)
8.
Zurück zum Zitat Maurer, A.: A note on the PAC Bayesian theorem. arXiv:cs/0411099 (2004, preprint) Maurer, A.: A note on the PAC Bayesian theorem. arXiv:cs/0411099 (2004, preprint)
9.
Zurück zum Zitat McAllester, D.A.: PAC-Bayesian model averaging. In: COLT, Santa Cruz, pp. 164–170 (1999) McAllester, D.A.: PAC-Bayesian model averaging. In: COLT, Santa Cruz, pp. 164–170 (1999)
10.
Zurück zum Zitat McAllester, D.: Simplified PAC-Bayesian margin bounds. In: Learning Theory and Kernel Machines, Washington, DC, pp. 203–215 (2003) McAllester, D.: Simplified PAC-Bayesian margin bounds. In: Learning Theory and Kernel Machines, Washington, DC, pp. 203–215 (2003)
11.
Zurück zum Zitat McAllester, D., Keshet, J.: Generalization bounds and consistency for latent structural probit and ramp loss. In: Proceedings of the 25th Annual Conference on Neural Information Processing Systems (NIPS), Granada (2011) McAllester, D., Keshet, J.: Generalization bounds and consistency for latent structural probit and ramp loss. In: Proceedings of the 25th Annual Conference on Neural Information Processing Systems (NIPS), Granada (2011)
12.
Zurück zum Zitat Seeger, M.: PAC-Bayesian generalisation error bounds for Gaussian process classification (English). J. Mach. Learn. Res. 3(2), 233–269 (2003)MathSciNetCrossRefMATH Seeger, M.: PAC-Bayesian generalisation error bounds for Gaussian process classification (English). J. Mach. Learn. Res. 3(2), 233–269 (2003)MathSciNetCrossRefMATH
13.
Zurück zum Zitat Shawe-Taylor, J., Langford, J.: PAC-Bayes & margins. In: Advances in Neural Information Processing Systems 15: Proceedings of the 2002 Conference, Vancouver, vol. 15, p. 439. MIT (2003) Shawe-Taylor, J., Langford, J.: PAC-Bayes & margins. In: Advances in Neural Information Processing Systems 15: Proceedings of the 2002 Conference, Vancouver, vol. 15, p. 439. MIT (2003)
14.
15.
Zurück zum Zitat Vapnik, V.N., Chervonenkis, A.Y.: On the uniform convergence of relative frequencies of events to their probabilities. Theory Probab. Appl. 16(2), 264–280 (1971)MathSciNetCrossRefMATH Vapnik, V.N., Chervonenkis, A.Y.: On the uniform convergence of relative frequencies of events to their probabilities. Theory Probab. Appl. 16(2), 264–280 (1971)MathSciNetCrossRefMATH
Metadaten
Titel
PAC-Bayesian Theory
verfasst von
David McAllester
Takintayo Akinbiyi
Copyright-Jahr
2013
Verlag
Springer Berlin Heidelberg
DOI
https://doi.org/10.1007/978-3-642-41136-6_10