Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Bücher
Zeitschriften
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Weitere Formate
Podcasts Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
SLX-Digitalkonferenz: Zukunftswerkstatt 2024

Mehr Umsatz mit Top-Kontakten

Am 7. Mai erfahren Sie, wie Vertriebsteams Leadgenerierung, Leadnurturing und Leadstrategien effizient steuern können.
Erweiterte Suche
Anmelden
nach oben
Erschienen in:
Entropy of Digraphs and Infinite Networks Kapitel lesen Erstes Kapitel lesen

2011 | OriginalPaper | Buchkapitel

3. Probabilistic Inference Using Function Factorization and Divergence Minimization

verfasst von : Terence H. Chan, Raymond W. Yeung

Erschienen in: Towards an Information Theory of Complex Networks

Verlag: Birkhäuser Boston

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This chapter addresses modeling issues in statistical inference problems. We will focus specifically on factorization model which is a generalization of Markov random fields and Bayesian networks. For any positive function (say an estimated probability distribution), we present a mechanical approach which approximates the function with one in a factorization model that is as simple as possible, subject to an upper bound on approximation error. We also rewrite a probabilistic inference problem into a divergence minimization (DM) problem where iterative algorithms are proposed to solve the DM problem. We prove that the well-known EM algorithm is a special case of our proposed iterative algorithm.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren
Vorheriges Kapitel An Information-Theoretic Upper Bound on Planar Graphs Using Well-Orderly Maps
Nächstes Kapitel Wave Localization on Complex Networks
Fußnoten
1
Generally speaking, it is not important whether θ(P) is nonpositive. We impose such a condition merely to ensure that the fitness/distance measure Δ(P) is always nonnegative.
 
2
Here, we say that q and Q are closed if | D(q | | P) − D(Q | | P) | is small.
 
Literatur
1.
Besag, J.: Spatial interaction and the statistical analysis of lattice systems. J. Royal Stat. Soc. B (Methodological) 36(2), 192–236 (1974)MathSciNetCrossRef
2.
Chan, T., Yeung, R.W.: New results in probabilistic modeling. Doctoral Thesis, The Chinese University of Hong Kong (2000)
3.
Chan, T., Yeung, R.W.: On factorization of positive functions. Proc. 2001 IEEE Int. Symp. Inform. Theory, Washington DC, USA, pp. 44, July 2001
4.
Chan, T., Yeung, R.W.: On maximum likelihood estimation and divergence minimization. Proc. 2002 IEEE Int. Symp. Inform. Theory, Lausanne, Switzerland, pp. 158, July 2002
5.
6.
Christensen, R.: Log-Linear Models and Logistic Regression. Springer, New York (1997)MATH
7.
Cover, T.M., Thomas, J.A.: Elements of Information Theory. Wiley Interscience, New York (1991)CrossRef
8.
Csiszár, I.: I-divegence geometry of probability mass functions and minimization problems. Ann. Probab. 3(1), 146–158 (1975)CrossRef
9.
Csiszár, I., Tusnady, G.: Information geometry and alternating minimization procedures. In: Dedewicz, E.F., et al. (eds.) Statistics and Decisions, pp. 205–237 (1984)
10.
Csiszár, I.: Sanov property, generalized i-projection and a conditional limit theorem. Ann. Probab. 12(3), 768–793 (1984)MathSciNetCrossRef
11.
Csiszár, I.: A geometric interpretation of Darroch and Ratcliff’s generalized iterative scaling. Ann. Stat. 17(3), 1409–1413 (1989)MathSciNetCrossRef
12.
Darroch, J.N., Ratcliff, D.: Generalized iterative scaling for log-linear models. Ann. Math. Stat. 43(5), 1470–1480 (1972)MathSciNetCrossRef
13.
Dempster, A.P., Laird, N.M., Rubin, D.B.: Maximum-likelihood from incomplete data via the EM algorithm. J. Royal Stat. Soc. B. 39(1), 1–38 (1977)MathSciNetMATH
14.
Dykstra, R.L., Lemke, J.H.: Duality of I projections and maximum likelihood estimation of log-linear models under cone constraints. J. Am. Stat. Assoc. 83, 546–554 (1988)MathSciNetMATH
15.
Figueiredo, M.T., Leitao, J.M.N.: Bayesian estimation of ventricular contours in angiographic images. IEEE Trans. Med. Imag. 11, 416–429 (1992)CrossRef
16.
Frey, B.J.: Graphical Models for Machine Learning and Digital Communication. MIT, Cambridge, Mass (1998)CrossRef
17.
Ising, E.: Beitrag sur Theorie des Ferromagnetismus. Zeit. fur Physik 31, 253–258 (1925)CrossRef
18.
19.
Lauritzen, S.L.: Graphical Models. Clarendon, Oxford (1996)MATH
20.
McLachlan, G.J., Krishnan, T.: The EM Algorithm and Extensions. Wiley, New York (1997)MATH
21.
Neal, R.M., Hinton, G.E.: A view of the EM algorithm that justifies incremental, sparse, and other variants. In: Jordan, M.I. (ed.) Learning in Graphical Models, pp. 355–368. Kluwer, Boston (1999)
22.
Pearl, J.: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufmann Publishers, San Mateo, California (1988)MATH
23.
Redner, R., Walker, H.: Mixture densities, maximum likelihood and the EM algorithm. SIAM Rev. 26(2), 195–239 (1984)MathSciNetCrossRef
24.
Yeung, R.W.: A First Course in Information Theory. Kluwer/Plenum, New York (2002)CrossRef
Metadaten
Titel
Probabilistic Inference Using Function Factorization and Divergence Minimization
verfasst von
Terence H. Chan
Raymond W. Yeung
Copyright-Jahr
2011
Verlag
Birkhäuser Boston
Buch
Towards an Information Theory of Complex Networks

Print ISBN: 978-0-8176-4903-6

Electronic ISBN: 978-0-8176-4904-3

Copyright-Jahr: 2011

DOI
https://doi.org/10.1007/978-0-8176-4904-3_3