Skip to main content

2024 | OriginalPaper | Buchkapitel

7. Regularisierung

verfasst von : Alexander Jung

Erschienen in: Maschinelles Lernen

Verlag: Springer Nature Singapore

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Zusammenfassung

Viele ML-Methoden verwenden das Prinzip der ERM (siehe Kap. 4), um eine Hypothese aus einem Hypothesenraum zu lernen, indem sie den durchschnittlichen Verlust (Trainingsfehler) auf einer Menge von beschrifteten Datenpunkten (Trainingsset) minimieren.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
Ein wichtiges Beispiel für eine solche strukturelle Ähnlichkeit im Falle von linearen Prädiktoren \(h^{(t)}(\mathbf{x}) =\big (\mathbf{w}^{(t)} \big )^{T} \mathbf{x}\) liegt vor, wenn die Gewichtsvektoren \(\mathbf{w}^{(T)}\) eine kleine gemeinsame Unterstützung \(\bigcup _{t=1,\ldots ,T} {{\,\mathrm{supp}\,}}( w^{(t)} )\) haben. Die Forderung, dass die Gewichtsvektoren eine kleine gemeinsame Unterstützung haben, entspricht der Forderung, dass der gestapelte Vektor \(\widetilde{\mathbf{w}}=\big (\mathbf{w}^{(1)},\ldots ,\mathbf{w}^{(T)} \big ) \) block- (gruppen-) spärlich ist [12].
 
Literatur
1.
Zurück zum Zitat O. Chapelle, B. Schölkopf, A. Zien (Hrsg.), Semi-Supervised Learning (The MIT Press, Cambridge, MA, 2006) O. Chapelle, B. Schölkopf, A. Zien (Hrsg.), Semi-Supervised Learning (The MIT Press, Cambridge, MA, 2006)
3.
Zurück zum Zitat M. Wainwright, High-Dimensional Statistics: A Non-Asymptotic Viewpoint (Cambridge University Press, Cambridge, 2019) M. Wainwright, High-Dimensional Statistics: A Non-Asymptotic Viewpoint (Cambridge University Press, Cambridge, 2019)
4.
Zurück zum Zitat P. Bühlmann, S. van de Geer, Statistics for High-Dimensional Data (Springer, New York, 2011) P. Bühlmann, S. van de Geer, Statistics for High-Dimensional Data (Springer, New York, 2011)
5.
Zurück zum Zitat S. Shalev-Shwartz, S. Ben-David, Understanding Machine Learning—From Theory to Algorithms (Cambridge University Press, Cambridge, 2014) S. Shalev-Shwartz, S. Ben-David, Understanding Machine Learning—From Theory to Algorithms (Cambridge University Press, Cambridge, 2014)
6.
Zurück zum Zitat V.N. Vapnik, The Nature of Statistical Learning Theory (Springer, Berlin, 1999) V.N. Vapnik, The Nature of Statistical Learning Theory (Springer, Berlin, 1999)
7.
Zurück zum Zitat S. Boyd, L. Vandenberghe, Convex Optimization (Cambridge University Press, Cambridge, UK, 2004) S. Boyd, L. Vandenberghe, Convex Optimization (Cambridge University Press, Cambridge, UK, 2004)
8.
Zurück zum Zitat D.P. Bertsekas, Nonlinear Programming, 2. Aufl. (Athena Scientific, Belmont, MA, 1999) D.P. Bertsekas, Nonlinear Programming, 2. Aufl. (Athena Scientific, Belmont, MA, 1999)
9.
Zurück zum Zitat T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning Springer Series in Statistics. (Springer, New York, 2001) T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning Springer Series in Statistics. (Springer, New York, 2001)
10.
Zurück zum Zitat T. Hastie, R. Tibshirani, M. Wainwright, Statistical Learning with Sparsity: The Lasso and Its Generalizations (CRC Press, Boca Raton, FL, 2015) T. Hastie, R. Tibshirani, M. Wainwright, Statistical Learning with Sparsity: The Lasso and Its Generalizations (CRC Press, Boca Raton, FL, 2015)
11.
Zurück zum Zitat A. Jung, A fixed-point of view on gradient methods for big data. Frontiers in Applied Mathematics and Statistics 3, 18 (2017)CrossRef A. Jung, A fixed-point of view on gradient methods for big data. Frontiers in Applied Mathematics and Statistics 3, 18 (2017)CrossRef
12.
Zurück zum Zitat Y.C. Eldar, P. Kuppinger, H. Bölcskei, Block-sparse signals: Uncertainty relations and efficient recovery. IEEE Trans. Signal Processing 58(6), 3042–3054 (2010). (June)MathSciNetCrossRef Y.C. Eldar, P. Kuppinger, H. Bölcskei, Block-sparse signals: Uncertainty relations and efficient recovery. IEEE Trans. Signal Processing 58(6), 3042–3054 (2010). (June)MathSciNetCrossRef
13.
Zurück zum Zitat S. Pan, Q. Yang, A survey on transfer learning. IEEE Trans. Knowl. Data Eng. 22(10), 1345–1359 (2010)CrossRef S. Pan, Q. Yang, A survey on transfer learning. IEEE Trans. Knowl. Data Eng. 22(10), 1345–1359 (2010)CrossRef
14.
Zurück zum Zitat J. Howard, S. Ruder, Universal language model fine-tuning for text classification, in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Association for Computational Linguistics, Stroudsburg, 2018), S. 328–339 J. Howard, S. Ruder, Universal language model fine-tuning for text classification, in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Association for Computational Linguistics, Stroudsburg, 2018), S. 328–339
Metadaten
Titel
Regularisierung
verfasst von
Alexander Jung
Copyright-Jahr
2024
Verlag
Springer Nature Singapore
DOI
https://doi.org/10.1007/978-981-99-7972-1_7

Premium Partner