Skip to main content

2024 | OriginalPaper | Buchkapitel

4. Empirische Risikominimierung

verfasst von : Alexander Jung

Erschienen in: Maschinelles Lernen

Verlag: Springer Nature Singapore

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Zusammenfassung

Kap. 2 diskutierte drei Hauptkomponenten von ML (siehe Abb. 2.1): Datenpunkte, die durch Merkmale \(\mathbf{x}\in \mathcal {X}\) und Labels \( y\in \mathcal {Y}\) charakterisiert sind, einen Hypothesenraum \(\mathcal {H}\) von rechnerisch machbaren Vorhersagekarten \(\mathcal {X}\rightarrow \mathcal {Y}\), und eine Verlustfunktion \(L({(\mathbf{x},y)},{h})\), die die Diskrepanz zwischen den Vorhersagen einer Hypothese h und tatsächlichen Datenpunkten misst. Idealerweise möchten wir eine Hypothese \(h \in \mathcal {H}\) erlernen, so dass \(L({(\mathbf{x},y)},{h})\) für jeden Datenpunkt \((\mathbf{x},y)\) klein ist. In der Praxis können wir den Verlust jedoch nur für eine endliche Menge von beschrifteten Datenpunkten messen, die als Trainingsset dient.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
Wir verwenden die Abkürzung \(\mathcal {N}(\mathbf{x};{\boldsymbol{\mu }},\mathbf{\Sigma })\) um die Wahrscheinlichkeitsdichtefunktion
$$p(\mathbf{x}) = \frac{1}{\sqrt{\mathrm{det} (2 \pi \mathbf{\Sigma })}} \exp \big (- (1/2) (\mathbf{x}\!-\!{\boldsymbol{\mu }})^{T}{} \mathbf{\Sigma }^{-1}(\mathbf{x}\!-\!{\boldsymbol{\mu }}) \big )$$
eines Gaußschen Zufallsvektors \(\mathbf{x}\) mit Mittelwert \({\boldsymbol{\mu }} = \mathbb {E} \{ \mathbf{x}\}\) und Kovarianzmatrix \(\mathbf{\Sigma } = \mathbb {E} \big \{(\mathbf{x}\!-\!{\boldsymbol{\mu }}) (\mathbf{x}\!-\!{\boldsymbol{\mu }})^{T} \big \}\) zu bezeichnen.
 
Literatur
1.
Zurück zum Zitat L. Hyafil, R. Rivest, Constructing optimal binary decision trees is np-complete. Inf. Process. Lett. 5(1), 15–17 (1976)MathSciNetCrossRef L. Hyafil, R. Rivest, Constructing optimal binary decision trees is np-complete. Inf. Process. Lett. 5(1), 15–17 (1976)MathSciNetCrossRef
2.
Zurück zum Zitat E.L. Lehmann, G. Casella, Theory of Point Estimation, 2. Aufl. (Springer, New York, 1998) E.L. Lehmann, G. Casella, Theory of Point Estimation, 2. Aufl. (Springer, New York, 1998)
3.
Zurück zum Zitat A. Papoulis, S.U. Pillai, Probability, Random Variables, and Stochastic Processes, 4. Aufl. (Mc-Graw Hill, New York, 2002) A. Papoulis, S.U. Pillai, Probability, Random Variables, and Stochastic Processes, 4. Aufl. (Mc-Graw Hill, New York, 2002)
4.
Zurück zum Zitat S. Boyd, L. Vandenberghe, Convex Optimization (Cambridge University Press, Cambridge, UK, 2004) S. Boyd, L. Vandenberghe, Convex Optimization (Cambridge University Press, Cambridge, UK, 2004)
5.
Zurück zum Zitat P.J. Brockwell, R.A. Davis, Time Series: Theory and Methods (Springer, New York, 1991) P.J. Brockwell, R.A. Davis, Time Series: Theory and Methods (Springer, New York, 1991)
6.
Zurück zum Zitat H. Lütkepohl, New Introduction to Multiple Time Series Analysis (Springer, New York, 2005) H. Lütkepohl, New Introduction to Multiple Time Series Analysis (Springer, New York, 2005)
7.
Zurück zum Zitat D. Cohn, Z. Ghahramani, M. Jordan, Active learning with statistical models. J. Artif. Int. Res. 4(1), 129–145 (1996). (March) D. Cohn, Z. Ghahramani, M. Jordan, Active learning with statistical models. J. Artif. Int. Res. 4(1), 129–145 (1996). (March)
8.
Zurück zum Zitat B. McMahan, E. Moore, D. Ramage, S. Hampson, B. A. y Arcas, Communication-efficient learning of deep networks from decentralized data, in Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, volume 54 of Proceedings of Machine Learning Research, Hrsg. by A. Singh und J. Zhu, S. 1273–1282 (PMLR, 2017) B. McMahan, E. Moore, D. Ramage, S. Hampson, B. A. y Arcas, Communication-efficient learning of deep networks from decentralized data, in Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, volume 54 of Proceedings of Machine Learning Research, Hrsg. by A. Singh und J. Zhu, S. 1273–1282 (PMLR, 2017)
9.
Zurück zum Zitat A. Jung, Networked exponential families for big data over networks. IEEE Access 8, 202897–202909 (2020)CrossRef A. Jung, Networked exponential families for big data over networks. IEEE Access 8, 202897–202909 (2020)CrossRef
10.
Zurück zum Zitat A. Jung, N. Tran, Localized linear regression in networked data. IEEE Sig. Proc. Lett. 26(7), 1090–1094 (2019)CrossRef A. Jung, N. Tran, Localized linear regression in networked data. IEEE Sig. Proc. Lett. 26(7), 1090–1094 (2019)CrossRef
11.
Zurück zum Zitat N. Tran, H. Ambos, A. Jung, Classifying partially labeled networked data via logistic network lasso, in Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), S. 3832–3836 (2020) N. Tran, H. Ambos, A. Jung, Classifying partially labeled networked data via logistic network lasso, in Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), S. 3832–3836 (2020)
12.
Zurück zum Zitat F. Sattler, K. Müller, und W. Samek. Clustered federated learning: Model-agnostic distributed multitask optimization under privacy constraints. IEEE Transactions on Neural Networks and Learning Systems (IEEE, New York, 2020) F. Sattler, K. Müller, und W. Samek. Clustered federated learning: Model-agnostic distributed multitask optimization under privacy constraints. IEEE Transactions on Neural Networks and Learning Systems (IEEE, New York, 2020)
13.
Zurück zum Zitat N. Parikh, S. Boyd, Proximal algorithms. Foundations and Trends in Optimization 1(3), 123–231 (2013) N. Parikh, S. Boyd, Proximal algorithms. Foundations and Trends in Optimization 1(3), 123–231 (2013)
14.
Zurück zum Zitat I. Goodfellow, Y. Bengio, A. Courville, Deep Learning (MIT Press, Cambridge, 2016) I. Goodfellow, Y. Bengio, A. Courville, Deep Learning (MIT Press, Cambridge, 2016)
15.
Zurück zum Zitat G.H. Golub, C.F. Van Loan, Matrix Computations, 3. Aufl. (Johns Hopkins University Press, Baltimore, MD, 1996) G.H. Golub, C.F. Van Loan, Matrix Computations, 3. Aufl. (Johns Hopkins University Press, Baltimore, MD, 1996)
16.
Zurück zum Zitat G. Golub, C. van Loan, An analysis of the total least squares problem. SIAM J. Numerical Analysis 17(6), 883–893 (1980). (Dec.)MathSciNetCrossRef G. Golub, C. van Loan, An analysis of the total least squares problem. SIAM J. Numerical Analysis 17(6), 883–893 (1980). (Dec.)MathSciNetCrossRef
17.
Zurück zum Zitat L. Hyafil, R.L. Rivest, Constructing optimal binary decision trees is np-complete. Inf. Process. Lett. 5(1), 15–17 (1976)MathSciNetCrossRef L. Hyafil, R.L. Rivest, Constructing optimal binary decision trees is np-complete. Inf. Process. Lett. 5(1), 15–17 (1976)MathSciNetCrossRef
18.
Zurück zum Zitat G. James, D. Witten, T. Hastie, R. Tibshirani, An Introduction to Statistical Learning with Applications in R (Springer, Berlin, 2013) G. James, D. Witten, T. Hastie, R. Tibshirani, An Introduction to Statistical Learning with Applications in R (Springer, Berlin, 2013)
19.
Zurück zum Zitat H. Poor, An Introduction to Signal Detection and Estimation, 2. Aufl. (Springer, Berlin, 1994) H. Poor, An Introduction to Signal Detection and Estimation, 2. Aufl. (Springer, Berlin, 1994)
20.
Zurück zum Zitat A.Y. Ng, M.I. Jordan, On discriminative vs. generative classifiers: A comparison of logistic regression and naive bayes, in Advances in Neural Information Processing Systems 14. Hrsg. by T.G. Dietterich, S. Becker, Z. Ghahramani (MIT Press, Cambridge, 2002), S. 841–848 A.Y. Ng, M.I. Jordan, On discriminative vs. generative classifiers: A comparison of logistic regression and naive bayes, in Advances in Neural Information Processing Systems 14. Hrsg. by T.G. Dietterich, S. Becker, Z. Ghahramani (MIT Press, Cambridge, 2002), S. 841–848
21.
Zurück zum Zitat M.S. Bartlett, An inverse matrix adjustment arising in discriminant analysis. Ann. Math. Stat. 22(1), 107–111 (1951)MathSciNetCrossRef M.S. Bartlett, An inverse matrix adjustment arising in discriminant analysis. Ann. Math. Stat. 22(1), 107–111 (1951)MathSciNetCrossRef
22.
23.
Zurück zum Zitat W. Gautschi, G. Inglese, Lower bounds for the condition number of van der Monde matrices. Numer. Math. 52, 241–250 (1988)MathSciNetCrossRef W. Gautschi, G. Inglese, Lower bounds for the condition number of van der Monde matrices. Numer. Math. 52, 241–250 (1988)MathSciNetCrossRef
Metadaten
Titel
Empirische Risikominimierung
verfasst von
Alexander Jung
Copyright-Jahr
2024
Verlag
Springer Nature Singapore
DOI
https://doi.org/10.1007/978-981-99-7972-1_4

Premium Partner