Skip to main content
main-content

Tipp

Weitere Kapitel dieses Buchs durch Wischen aufrufen

2021 | OriginalPaper | Buchkapitel

5. Logistische Regression

verfasst von : Klaus Backhaus, Bernd Erichson, Sonja Gensler, Rolf Weiber, Thomas Weiber

Erschienen in: Multivariate Analysemethoden

Verlag: Springer Fachmedien Wiesbaden

share
TEILEN

Zusammenfassung

Bei vielen Problemstellungen in Wissenschaft und Praxis treten immer wieder die folgenden Fragen auf: Welcher von zwei oder mehreren alternativen Zuständen liegt vor oder welches Ereignis wird eintreffen? Welche Faktoren eignen sich für die Entscheidung oder Prognose und welchen Einfluss haben sie auf das Zustandekommen eines Zustandes oder Ereignisses?
Häufig geht es dabei nur um zwei alternative Zustände oder Ereignisse, z. B. hat ein Patient eine bestimmte Krankheit oder nicht? Zur Beantwortung derartiger Fragen kann die logistische Regression angewendet werden. Die logistische Regression ähnelt hinsichtlich der Problemstellung der Diskriminanzanalyse. Der für den Anwender wesentliche Unterschied zwischen den beiden Verfahren besteht darin, dass die logistische Regression direkt Wahrscheinlichkeiten für das Eintreffen der alternativen Zustände oder der Zugehörigkeiten zu den einzelnen Gruppen liefert.
Fußnoten
1
Vgl. Hastie et al. (2011, S. 2, 300). Der Datensatz „Spambase“ enthält Informationen zu 4601 E-Mails und ist öffentlich zugänglich unter https://​archive.​ics.​uci.​edu.
 
2
Eine solche Variable wird als Bernoulli-Variable bezeichnet, und die Ereignisse können als Ergebnisse eines Bernoulli-Prozesses angesehen werden. Die sich daraus ergebende Wahrscheinlichkeitsverteilung wird als Bernoulli-Verteilung bezeichnet. Der Name geht auf Jacob Bernoulli (1656–1705) zurück. Das einfachste Beispiel für einen Bernoulli-Prozess ist der Münzwurf mit dem Erwartungswert E(Y) = π = 0,5 und der Varianz V(Y) = π(1 − π). Die Bernoulli-Verteilung ist ein Spezialfall der Binomialverteilung für N = 1 Versuche. Die Binomialverteilung resultiert aus einer Folge von N Bernoulli-Versuchen. Dementsprechend ist die Kauffrequenz (Summe der Käufe oder Käufer) binomial verteilt mit Stichprobengröße N. Mit zunehmendem N konvergiert die Binomialverteilung gegen die Normalverteilung.
 
3
Dies ist der Grund für die breite Anwendung und Bedeutung der logistischen Funktion, da sie viel einfacher zu handhaben ist als die Verteilungsfunktion der Normalverteilung, die nur als Integral ausgedrückt werden kann und daher schwer zu berechnen ist. Die logistische Funktion wurde von dem belgischen Mathematiker Pierre-Francois Verhulst (1804–1849) entwickelt, um das Bevölkerungswachstum zu beschreiben und vorherzusagen. Die Konstante e = 2,71828 ist die Euler’sche Zahl, die auch als Basis des natürlichen Logarithmus dient.
 
4
Kategoriale unabhängige Variablen müssen, wie bei der linearen Regressionsanalyse, in binäre Variablen zerlegt werden.
 
5
Im Rahmen der „Verallgemeinerten Linearen Modelle“ bildet logit(π) eine sogenannte Linkfunktion, mit deren Hilfe ein linearer Zusammenhang zwischen dem Erwartungswert einer abhängigen Variablen und der systematischen Komponente des Modells hergestellt wird. Die Logit-Verknüpfung wird insbesondere dann verwendet, wenn eine binomiale Verteilung für die abhängige Variable angenommen wird. Hierzu vgl. Agresti (2013, S. 112–122); Fox (2015, S. 418 ff.).
 
6
Auf der zu diesem Buch gehörigen Internetseite www.​multivariate.​de stellen wir ergänzendes Material zur Verfügung, um das Verstehen der Methode zu erleichtern und zu vertiefen.
 
7
Behandlungen des linearen Wahrscheinlichkeitsmodells finden sich in Agresti (2013, S. 117, 1996, S. 74); Hosmer und Lemeshow (2000, S. 5).
 
8
Diese Gruppen (Klassen) müssen von den Kategoriegruppen der abhängigen Variablen Y unterschieden werden.
 
9
Das Konzept der ROC-Kurve stammt aus der Nachrichtentechnik und wurde ursprünglich im 2. Weltkrieg zur Erkennung von Radar-Signalen bzw. feindlichen Objekten entwickelt und findet heute in vielen Wissenschaftsbereichen Anwendung. Vgl. dazu z. B. Agresti (2013, S. 224 ff.); Hastie et al. (2011, S. 313 ff.); Hosmer et al. (2013, S. 173 ff.) SPSS bietet eine Prozedur zur Erstellung von ROC-Kurven für gegebene Klassifizierungswahrscheinlichkeiten oder Diskriminanzwerte an. Die obige ROC-Kurve wurde mit Excel erstellt.
 
10
Man erhält denselben Wert auch für AUC, wenn man die Diskriminanzanalyse auf die vorliegenden Daten anwendet. Dabei kann man die ROC-Kurve alternativ auf Basis der Diskriminanzwerte oder der Klassifizierungswahrscheinlichkeiten erstellen.
 
11
Eine weitere Gefahr der „falschen Negativität“ besteht darin, dass eine kranke Person die Krankheit verbreiten kann. Die schockierend hohe Rate von „falsch-negativen“ Testergebnissen hat zur raschen Ausbreitung der COVID-19-Pandemie im Jahr 2020 beigetragen.
 
12
Das Prinzip der ML-Methode geht zurück Daniel Bernoulli (1700–1782), einem Neffen von Jakob Bernoulli. Ronald A. Fisher (1890–1962) analysierte die statistischen Eigenschaften der ML-Methode und bereitete so den Weg für ihre praktische Anwendung und Verbreitung. Sie bildet neben der KQ-Methode das wichtigste statistische Schätzprinzip.
 
13
Für die Logistische Regression kommen primär Quasi-Newton-Verfahren zur Anwendung, die recht schnell konvergieren. Diese Verfahren basieren auf der Methode von Newton zum Auffinden der Nullstelle einer Funktion. Sie benutzen zur Auffindung des Optimums die ersten und zweiten partiellen Ableitungen der LL-Funktion nach den unbekannten Parametern. Die Ableitungen werden, je nach Verfahren, unterschiedlich approximiert. Spezielle Verfahren sind die Gauss–Newton-Methode und deren Weiterentwicklung, die Newton–Raphson-Methode. Verbreitete Anwendung findet inzwischen auch die Methode der Iteratively Reweighted Least Squares (IRLS). Siehe dazu z. B. Agresti (2013, S. 149 ff.); Fox (2015, S. 431 ff.); Press et al. (2007, S. 521 ff.).
 
14
McFadden (1974) hat nachgewiesen, dass bei linearer systematischer Komponente des logistischen Modells die LL-Funktion global konvex verläuft, was die Maximierung sehr erleichtert.
 
15
Der Begriff „Odds“ wird nur im Plural verwendet. Das Konzept der Odds und ihre Nützlichkeit wurde von dem italienischen Mathematiker und Arzt Gerolano Cardano (1501–1576) beschrieben, der seinen Lebensunterhalt mit Glücksspielen aufbessern musste. In seinem „Buch über Glücksspiele“ schrieb er die erste Abhandlung über Wahrscheinlichkeiten. Die Wahrscheinlichkeitstheorie entwickelte sich erst später im 17. Jahrhundert mit den Arbeiten der Wissenschaftler Pierre de Fermat (1601–1665), Blaise Pascal (1623–1662) und Jakob Bernoulli (1655–1705).
 
16
Der Name „logit“ wurde 1944 von Joseph Berkson eingeführt, der ihn als Abkürzung für „logistische Einheit“ verwendete, in Analogie zur Abkürzung „probit“ für „Wahrscheinlichkeitseinheit“. Berkson trug stark zur Entwicklung und Popularisierung der logistischen Regression bei.
 
17
Das ist der Grund, warum das Zeichen „per definition gleich“ in Gl. (5.33) und (5.34) verwendet wurde.
 
18
Die Odds Ratios können alternativ mit (4,33) berechnet werden durch: \(OR_{m} = e^{{b_{2} }} = e^{1{,}751} = 5{,}76\) und \(OR_{w} = e^{{ - b_{2} }} = e^{ - 1{,}751} = 0{,}174\).
 
19
Im allgemeinen Sprachgebrauch wird der Begriff Risiko mit negativen Ereignissen wie Unfällen, Krankheit oder Tod assoziiert. Hier bezieht sich der Risikobegriff auf die Wahrscheinlichkeit eines ungewissen Ereignisses.
 
20
Dies kann in so genannten Fall-Kontroll-Studien der Fall sein, bei denen die Gruppen nicht durch Zufallsstichproben gebildet werden. Die Größe der Gruppen kann also nicht für die Schätzung von Wahrscheinlichkeiten verwendet werden. Solche Studien werden oft für die Analyse seltener Ereignisse durchgeführt, z. B. in der Epidemiologie, Medizin oder Biologie. Vgl. Agresti (2013, S. 42 f.); Hosmer et al. (2013, S. 229 f.).
 
21
Daher wird in SPSS die LLR-Statistik als Chi-Quadrat bezeichnet. Zur Wahrscheinlichkeits-Ratio-Test-Statistik siehe z. B. Agresti (2013, S. 11); Fox (2015, S. 346 ff.).
 
22
Um das Verständnis des Lesers für die Grundlagen des statistischen Testens aufzufrischen, bietet Abschn. 1.​3 hierzu eine kurze Zusammenfassung.
 
23
Mit Excel lässt sich der p-Wert berechnen, indem die Funktion  CHIQU.VERT.RE(x;df) verwendet wird. Es ergibt sich CHIQU.VERT.RE(9,35;2) = 0,009.
 
24
Voraussetzung für die Chi-Quadrat-Verteilung ist, dass es sich um ineinander verschachtelte Modelle (nested models) handelt. Die Variablen eines der Modelle müssen eine Untermenge der Variablen des anderen Models bilden.
 
25
Beide Tests werden in SPSS verwendet, aber der LR-Test wird nur im NOMREG-Verfahren für die multinomiale logistische Regression verwendet, nicht aber für die binäre Logistische Regression.
 
26
Benannt nach dem ungarischen Mathematiker Abraham Wald (1902–1950). Siehe zum Wald Test auch Agresti (2013, S. 10); Hosmer et al. (2013, S. 42 ff.).
 
27
Der Grund ist, dass der Standardfehler zu groß wird, insbesondere wenn der absolute Wert des Koeffizienten groß ist. Die Wald-Statistik wird damit zu klein und der p-Wert zu groß. Siehe dazu Hauck und Donner (1977). Agresti (2013, S. 169), weist darauf hin, dass der Likelihood-Ratio-Test mehr Information nutzt als der Wald-Test und deshalb vorzuziehen ist.
 
28
Der Anwender findet alle in diesem Kapitel verwendeten Excel-Dateien auf der Internetseite zu diesem Buch www.​multivariate.​de.
 
29
Die binäre Logistische Regression kann auch mit Hilfe der SPSS-Syntax ausgeführt werden, die in Abschn. 5.4.4 in Abb. 5.42 dargestellt ist.
 
30
Eine Alternative ist, die Parameter so zu zentrieren, dass ihre Summe über die beiden Kategorien Null ist.
 
31
Für dieses Beispiel wird ein zweiter Datensatz mit 50 Beobachtungen verwendet.
 
32
In SPSS (Verfahren NOMREG) kann der Benutzer eine beliebige Kategorie als Referenzkategorie wählen und so die Quoten anhand des Baseline-Logit-Modells bestimmen. Dies geschieht im Dialogfenster durch die Option „Referenzkategorie“ und „Benutzerdefiniert“. Standardmäßig wird die letzte Kategorie G gewählt. Die Kategorie mit der niedrigsten Codierung wird gewählt, wenn der Benutzer die Kategoriereihenfolge „Absteigend“ wählt (Standard ist „Aufsteigend“).
 
33
Für X2 = 0 muss der p-Wert 1,0 betragen. Er kann jedoch nicht berechnet werden, da es für dieses Modell keine Freiheitsgrade gibt. Es dient nur dazu, das Prinzip der Berechnung zu demonstrieren. Die vorhergesagten (erwarteten) Wahrscheinlichkeiten sind hier gleich den relativen Häufigkeiten der beobachteten Werte in der jeweiligen Teilpopulation, d. h. für Männer und für Frauen.
 
34
Für das Fallbeispiel wird der gleiche Datensatz wie auch im Fallbeispiel zur Diskriminanzanalyse (vgl. Abschn. 4.​3) verwendet, um so die Gemeinsamkeiten und Unterschiede zwischen beiden Verfahren besser verdeutlichen zu können.
 
35
Auf der zu diesem Buch gehörigen Internetseite www.​multivariate.​de stellen wir ergänzendes Material zur Verfügung, um das Verstehen der Methode zu erleichtern und zu vertiefen.
 
36
Fehlende Werte sind ein häufiges und leider unvermeidbares Problem bei empirischen Erhebungen (z. B. weil Personen eine Frage nicht beantworten konnten oder wollten). Der Umgang mit fehlenden Werten in empirischen Studien wird in Abschn. 1.​5.​2 dieses Buches diskutiert.
 
37
Es gibt eine dritte Gruppe von Variablen, die nach Person und Alternativen variieren. Beispiele sind die wahrgenommenen Eigenschaften, die im Fallbeispiel enthalten waren.
 
38
Logit-Choice-Modelle wurden durch die Arbeit von Daniel McFadden (1974) populär, der die Grundlagen für diese Modelle und ihre Anwendungen legte. Im Jahr 2000 gewann er den Nobelpreis für Wirtschaftswissenschaften. Abhandlungen über diese Modelle finden sich in den Büchern von Ben-Akiva und Lerman (1985); Hensher et al. (2015); Train (2009). Die Anwendungen betreffen die Nutzung von Transportalternativen (z. B. Auto, Straßenbahn, Bus, Fahrrad, zu Fuß (Mc Fadden 1974) oder Marktdaten von Scanner-Panels (z. B. Guadagni und Little 1983; Jain et al. 1994).
 
39
SPSS enthält kein spezielles Verfahren für die Logit-Choice-Analyse. Für die Berechnung kann jedoch das Verfahren COXREG für Cox-Regression verwendet werden.
 
40
Die Diskriminanzanalyse unterstellt, dass die unabhängigen Variablen multivariat normalverteilt sind, während die LRA davon ausgeht, dass die abhängige Variable einer binomialen oder multinomialen Verteilung folgt.
 
Literatur
Zurück zum Zitat Agresti, A. (2013). Categorical data analysis. New Jersey: Wiley. Agresti, A. (2013). Categorical data analysis. New Jersey: Wiley.
Zurück zum Zitat Ben-Akiva, M., & Lerman, S. (1985). Discrete choice analysis. Cambridge: MIT Press. Ben-Akiva, M., & Lerman, S. (1985). Discrete choice analysis. Cambridge: MIT Press.
Zurück zum Zitat Fox, J. (2015). Applied regression analysis and generalized linear models. Los Angeles: Sage. Fox, J. (2015). Applied regression analysis and generalized linear models. Los Angeles: Sage.
Zurück zum Zitat Gigerenzer, G. (2002). Calculated Risks. How to know when numbers deceive you. New York: Simon Schuster. Gigerenzer, G. (2002). Calculated Risks. How to know when numbers deceive you. New York: Simon Schuster.
Zurück zum Zitat Guadagni, P., & Little, J. (1983). A logit model of brand choice calibrated on scanner data. Marketing Science, 2(3), 203–238. CrossRef Guadagni, P., & Little, J. (1983). A logit model of brand choice calibrated on scanner data. Marketing Science, 2(3), 203–238. CrossRef
Zurück zum Zitat Hastie, T., Tibshirani, R., & Friedman, J. (2011). The elements of statistical learning. New York: Springer. CrossRef Hastie, T., Tibshirani, R., & Friedman, J. (2011). The elements of statistical learning. New York: Springer. CrossRef
Zurück zum Zitat Hauck, W., & Donner, A. (1977). Wald’s test as applied to hypotheses in logit analysis. Journal of the American Statistical Association, 72, 851–853. Hauck, W., & Donner, A. (1977). Wald’s test as applied to hypotheses in logit analysis. Journal of the American Statistical Association, 72, 851–853.
Zurück zum Zitat Hensher, D., Rose, J., & Greene, W. (2015). Applied choice analysis. Cambridge: Cambridge University Press. CrossRef Hensher, D., Rose, J., & Greene, W. (2015). Applied choice analysis. Cambridge: Cambridge University Press. CrossRef
Zurück zum Zitat Hosmer, D., & Lemeshow, S. (2000). Applied logistic regression. New York: Wiley. CrossRef Hosmer, D., & Lemeshow, S. (2000). Applied logistic regression. New York: Wiley. CrossRef
Zurück zum Zitat Hosmer, D., Lemeshow, S., & Sturdivant, R. (2013). Applied logistic regression. New York: Wiley. CrossRef Hosmer, D., Lemeshow, S., & Sturdivant, R. (2013). Applied logistic regression. New York: Wiley. CrossRef
Zurück zum Zitat IBM Corporation (2017). IBM SPSS Statistics Algorithms, NOMREG Algorithms. IBM Corporation (2017). IBM SPSS Statistics Algorithms, NOMREG Algorithms.
Zurück zum Zitat Jain, D., Vilcassim, N., & Chintagunta, P. (1994). A random-coeffcients logit brand-choice model applied to panel data. Journal of Business & Economic Statistics, 13(3), 317–326. Jain, D., Vilcassim, N., & Chintagunta, P. (1994). A random-coeffcients logit brand-choice model applied to panel data. Journal of Business & Economic Statistics, 13(3), 317–326.
Zurück zum Zitat James, G., Witten, D., Hastie, T., & Tibshirani, R. (2014). An introduction to statistical learning. New York: Springer. James, G., Witten, D., Hastie, T., & Tibshirani, R. (2014). An introduction to statistical learning. New York: Springer.
Zurück zum Zitat Lim, T., Loh, W., & Shih, Y. (2000). A comparison of predicting accuracy, complexity, and training time of thirty-three old and new classification algorithms. Machine Learning, 40(3), 203–229. CrossRef Lim, T., Loh, W., & Shih, Y. (2000). A comparison of predicting accuracy, complexity, and training time of thirty-three old and new classification algorithms. Machine Learning, 40(3), 203–229. CrossRef
Zurück zum Zitat Louviere, J., Hensher, D., & Swait, J. (2000). Stated choice methods. Cambridge: Cambridge University Press. CrossRef Louviere, J., Hensher, D., & Swait, J. (2000). Stated choice methods. Cambridge: Cambridge University Press. CrossRef
Zurück zum Zitat McFadden, D. (1974). Conditional logit analysis of qualitative choice behavior. In P. Zarembka (Hrsg.), Frontiers in econometrics, 40 (S. 105–142). Cambridge: Academic Press. McFadden, D. (1974). Conditional logit analysis of qualitative choice behavior. In P. Zarembka (Hrsg.), Frontiers in econometrics, 40 (S. 105–142). Cambridge: Academic Press.
Zurück zum Zitat Menard, S. (2002). Applied logistic regression analysis (S. 106). Beverly Hills: Sage-University Paper. CrossRef Menard, S. (2002). Applied logistic regression analysis (S. 106). Beverly Hills: Sage-University Paper. CrossRef
Zurück zum Zitat Michie, D., Spiegelhalter, D., & Taylor, C. (1994). Machine learning, neural and statistical classification. Chichester: Ellis Horwood Limited. Michie, D., Spiegelhalter, D., & Taylor, C. (1994). Machine learning, neural and statistical classification. Chichester: Ellis Horwood Limited.
Zurück zum Zitat Morrison, D. (1969). On the interpretation of discriminant analysis. Journal of Marketing Research, 6(2), 156–163. CrossRef Morrison, D. (1969). On the interpretation of discriminant analysis. Journal of Marketing Research, 6(2), 156–163. CrossRef
Zurück zum Zitat Pearl, J., & Mackenzie, D. (2018). The Book of Why. The new science of cause and effect. New York: Basic Books. Pearl, J., & Mackenzie, D. (2018). The Book of Why. The new science of cause and effect. New York: Basic Books.
Zurück zum Zitat Press, W., Flannery, B., Teukolsky, S., & Vetterling, W. (2007). Numerical recipes – The art of scientific computing. Cambridge: Cambridge University Press. Press, W., Flannery, B., Teukolsky, S., & Vetterling, W. (2007). Numerical recipes – The art of scientific computing. Cambridge: Cambridge University Press.
Zurück zum Zitat Train, K. (2009). Discrete choice methods with simulation. Cambridge: Cambridge University Press. Train, K. (2009). Discrete choice methods with simulation. Cambridge: Cambridge University Press.
Zurück zum Zitat Hair, J., Black, W., Babin, B., & Anderson, R. (2010). Multivariate data analysis. Englewood Cliffs: Pearson. Hair, J., Black, W., Babin, B., & Anderson, R. (2010). Multivariate data analysis. Englewood Cliffs: Pearson.
Zurück zum Zitat Corporation, I. B. M. (2017). IBM SPSS regression 27, Armonk, NY, US. Corporation, I. B. M. (2017). IBM SPSS regression 27, Armonk, NY, US.
Zurück zum Zitat McCullagh, P., & Nelder, J. (1989). Generalized linear models. London: Chapman and Hall. CrossRef McCullagh, P., & Nelder, J. (1989). Generalized linear models. London: Chapman and Hall. CrossRef
Metadaten
Titel
Logistische Regression
verfasst von
Klaus Backhaus
Bernd Erichson
Sonja Gensler
Rolf Weiber
Thomas Weiber
Copyright-Jahr
2021
DOI
https://doi.org/10.1007/978-3-658-32425-4_5