Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Bücher
Zeitschriften
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Weitere Formate
Podcasts Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
SLX-Digitalkonferenz: Zukunftswerkstatt 2024

Mehr Umsatz mit Top-Kontakten

Am 7. Mai erfahren Sie, wie Vertriebsteams Leadgenerierung, Leadnurturing und Leadstrategien effizient steuern können.
Erweiterte Suche
Anmelden
nach oben
Erschienen in:
Deep Neural Network Ensembles Kapitel lesen Erstes Kapitel lesen

2019 | OriginalPaper | Buchkapitel

Determining Principal Component Cardinality Through the Principle of Minimum Description Length

verfasst von : Ami Tavory

Erschienen in: Machine Learning, Optimization, and Data Science

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

PCA (Principal Component Analysis) and its variants are ubiquitous techniques for matrix dimension reduction and reduced-dimension latent-factor extraction. One significant challenge in using PCA, is the choice of the number of principal components. The information-theoretic MDL (Minimum Description Length) principle gives objective compression-based criteria for model selection, but it is difficult to analytically apply its modern definition - NML (Normalized Maximum Likelihood) - to the problem of PCA. This work shows a general reduction of NML problems to lower-dimension problems. Applying this reduction, it bounds the NML of PCA, by terms of the NML of linear regression, which are known.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren
Vorheriges Kapitel Approximating Probabilistic Constraints for Surgery Scheduling Using Neural Networks
Nächstes Kapitel Modelling Chaotic Time Series Using Recursive Deep Self-organising Neural Networks
Anhänge
Nur mit Berechtigung zugänglich
Literatur
1.
Barron, A.R., Rissanen, J., Yu, B.: The minimum description length principle in coding and modeling. IEEE Trans. Inf. Theor 44(6), 2743–2760 (1998)MathSciNetCrossRef
2.
Blumer, A., Ehrenfeucht, A., Haussler, D., Warmuth, M.K.: Occam’s razor. Inf. Process. Lett. 24(6), 377–380 (1987)MathSciNetCrossRef
3.
Bokde, D., Girase, S., Mukhopadhyay, D.: Matrix factorization model in collaborative filtering algorithms: a survey. Procedia Comput. Sci. 49, 136–146 (2015). Proceedings of 4th International Conference on Advances in Computing, Communication and Control (ICAC3 2015)
4.
Choi, Y., Taylor, J., Tibshirani, R.: Selecting the number of principal components: estimation of the true rank of a noisy matrix. Ann. Statist. 45(6), 2590–2617 (2017)MathSciNetCrossRef
5.
Cover, T.M., Thomas, J.A.: Elements of Information Theory. Wiley, New York (2006)MATH
6.
Laura, D.: Directed factor graph notation for generative models. Tech. rep. Saarbrücken, Germany (2010)
7.
Eckart, C., Young, G.: The approximation of one matrix by another of lower rank. Psychometrika 1(3), 211–218 (1936)CrossRef
8.
Grünwald, P.: A tutorial introduction to the minimum description length principle. In: Advances in Minimum Description Length: Theory and Applications. MIT Press, Cambridge (2005)
9.
Hansen, M.H., Yu, B.: Model selection and the principle of minimum description length. J. Am. Stat. Assoc. 96(454), 746–774 (2001)MathSciNetCrossRef
10.
Hansen, M.H., Yu, B.: Minimum description length model selection criteria for generalized linear models, vol. 40. Lecture Notes-Monograph Series, pp. 145–163. Institute of Mathematical Statistics, Beachwood (2003)
11.
12.
Hoyle, D.C.: Automatic PCA dimension selection for high dimensional data and small sample sizes. JMLR 9, 733–2759 (2008)MATH
13.
Donald, A.J.: Stopping rules in principal components analysis: a comparison of heuristical and statistical approaches. Ecology 6(74), 2204–2214 (1993)MathSciNet
14.
15.
Josse, J., Husson, F.: Selecting the number of components in principal component analysis using cross-validation approximations. Comput. Stat. Data Anal. 56(6), 1869–1879 (2012)MathSciNetCrossRef
16.
Mitzenmacher, M., Upfal, E.: Probability and Computing: Randomized Algorithms and Probabilistic Analysis. Cambridge University Press, Cambridge (2005)CrossRef
17.
Myung, J.I., Navarro, D.J., Pitt, M.A.: Model selection by normalized maximum likelihood. J. Math. Psychol. 50(2), 175–191 (2006)MathSciNetCrossRef
18.
Petersen, K.B., Pedersen, M.S.: The Matrix Cookbook, November 2012. Version 20121115 (2012)
19.
Dawid, A.P., Vovk, V.G.: Prequential probability: principles and properties. Bernoulli 5(1), 125–162 (1999)MathSciNetCrossRef
20.
Rissanen, J.: Stochastic complexity in statistical inquiry. Adv. Ser. Appl. Phys. 178, 409–412 (1989)MATH
21.
22.
23.
Rissanen, J.: Strong optimality of the normalized ml models as universal codes. IEEE Trans. Inf. Theory 47, 1712–1717 (2000)CrossRef
24.
Tavory, A.: Determining principal component cardinality through the principle of minimum description length. arXiv (2019)
25.
Udell, M., Horn, C., Zadeh, R., Boyd, S.: Generalized low rank models. Foundations and Trends® in Machine Learning, 9(1), 1–118 (2016)
26.
Zhu, M., Ghodsi, A.: Automatic dimensionality selection from the scree plot via the use of profile likelihood. Comput. Stat. Data Anal. 51, 918–930 (2006)MathSciNetCrossRef
Metadaten
Titel
Determining Principal Component Cardinality Through the Principle of Minimum Description Length
verfasst von
Ami Tavory
Copyright-Jahr
2019
Buch
Machine Learning, Optimization, and Data Science

Print ISBN: 978-3-030-37598-0

Electronic ISBN: 978-3-030-37599-7

Copyright-Jahr: 2019

DOI
https://doi.org/10.1007/978-3-030-37599-7_54