Skip to main content
Top

2024 | OriginalPaper | Chapter

7. Regularisierung

Author : Alexander Jung

Published in: Maschinelles Lernen

Publisher: Springer Nature Singapore

Activate our intelligent search to find suitable subject content or patents.

search-config
loading …

Zusammenfassung

Viele ML-Methoden verwenden das Prinzip der ERM (siehe Kap. 4), um eine Hypothese aus einem Hypothesenraum zu lernen, indem sie den durchschnittlichen Verlust (Trainingsfehler) auf einer Menge von beschrifteten Datenpunkten (Trainingsset) minimieren.

Dont have a licence yet? Then find out more about our products and how to get one now:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Footnotes
1
Ein wichtiges Beispiel für eine solche strukturelle Ähnlichkeit im Falle von linearen Prädiktoren \(h^{(t)}(\mathbf{x}) =\big (\mathbf{w}^{(t)} \big )^{T} \mathbf{x}\) liegt vor, wenn die Gewichtsvektoren \(\mathbf{w}^{(T)}\) eine kleine gemeinsame Unterstützung \(\bigcup _{t=1,\ldots ,T} {{\,\mathrm{supp}\,}}( w^{(t)} )\) haben. Die Forderung, dass die Gewichtsvektoren eine kleine gemeinsame Unterstützung haben, entspricht der Forderung, dass der gestapelte Vektor \(\widetilde{\mathbf{w}}=\big (\mathbf{w}^{(1)},\ldots ,\mathbf{w}^{(T)} \big ) \) block- (gruppen-) spärlich ist [12].
 
Literature
1.
go back to reference O. Chapelle, B. Schölkopf, A. Zien (Hrsg.), Semi-Supervised Learning (The MIT Press, Cambridge, MA, 2006) O. Chapelle, B. Schölkopf, A. Zien (Hrsg.), Semi-Supervised Learning (The MIT Press, Cambridge, MA, 2006)
3.
go back to reference M. Wainwright, High-Dimensional Statistics: A Non-Asymptotic Viewpoint (Cambridge University Press, Cambridge, 2019) M. Wainwright, High-Dimensional Statistics: A Non-Asymptotic Viewpoint (Cambridge University Press, Cambridge, 2019)
4.
go back to reference P. Bühlmann, S. van de Geer, Statistics for High-Dimensional Data (Springer, New York, 2011) P. Bühlmann, S. van de Geer, Statistics for High-Dimensional Data (Springer, New York, 2011)
5.
go back to reference S. Shalev-Shwartz, S. Ben-David, Understanding Machine Learning—From Theory to Algorithms (Cambridge University Press, Cambridge, 2014) S. Shalev-Shwartz, S. Ben-David, Understanding Machine Learning—From Theory to Algorithms (Cambridge University Press, Cambridge, 2014)
6.
go back to reference V.N. Vapnik, The Nature of Statistical Learning Theory (Springer, Berlin, 1999) V.N. Vapnik, The Nature of Statistical Learning Theory (Springer, Berlin, 1999)
7.
go back to reference S. Boyd, L. Vandenberghe, Convex Optimization (Cambridge University Press, Cambridge, UK, 2004) S. Boyd, L. Vandenberghe, Convex Optimization (Cambridge University Press, Cambridge, UK, 2004)
8.
go back to reference D.P. Bertsekas, Nonlinear Programming, 2. Aufl. (Athena Scientific, Belmont, MA, 1999) D.P. Bertsekas, Nonlinear Programming, 2. Aufl. (Athena Scientific, Belmont, MA, 1999)
9.
go back to reference T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning Springer Series in Statistics. (Springer, New York, 2001) T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning Springer Series in Statistics. (Springer, New York, 2001)
10.
go back to reference T. Hastie, R. Tibshirani, M. Wainwright, Statistical Learning with Sparsity: The Lasso and Its Generalizations (CRC Press, Boca Raton, FL, 2015) T. Hastie, R. Tibshirani, M. Wainwright, Statistical Learning with Sparsity: The Lasso and Its Generalizations (CRC Press, Boca Raton, FL, 2015)
11.
go back to reference A. Jung, A fixed-point of view on gradient methods for big data. Frontiers in Applied Mathematics and Statistics 3, 18 (2017)CrossRef A. Jung, A fixed-point of view on gradient methods for big data. Frontiers in Applied Mathematics and Statistics 3, 18 (2017)CrossRef
12.
go back to reference Y.C. Eldar, P. Kuppinger, H. Bölcskei, Block-sparse signals: Uncertainty relations and efficient recovery. IEEE Trans. Signal Processing 58(6), 3042–3054 (2010). (June)MathSciNetCrossRef Y.C. Eldar, P. Kuppinger, H. Bölcskei, Block-sparse signals: Uncertainty relations and efficient recovery. IEEE Trans. Signal Processing 58(6), 3042–3054 (2010). (June)MathSciNetCrossRef
13.
go back to reference S. Pan, Q. Yang, A survey on transfer learning. IEEE Trans. Knowl. Data Eng. 22(10), 1345–1359 (2010)CrossRef S. Pan, Q. Yang, A survey on transfer learning. IEEE Trans. Knowl. Data Eng. 22(10), 1345–1359 (2010)CrossRef
14.
go back to reference J. Howard, S. Ruder, Universal language model fine-tuning for text classification, in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Association for Computational Linguistics, Stroudsburg, 2018), S. 328–339 J. Howard, S. Ruder, Universal language model fine-tuning for text classification, in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Association for Computational Linguistics, Stroudsburg, 2018), S. 328–339
Metadata
Title
Regularisierung
Author
Alexander Jung
Copyright Year
2024
Publisher
Springer Nature Singapore
DOI
https://doi.org/10.1007/978-981-99-7972-1_7

Premium Partner