5. Logistische Regression

Vgl. Hastie et al. (2011, S. 2, 300). Der Datensatz „Spambase“ enthält Informationen zu 4601 E-Mails und ist öffentlich zugänglich unter https://​archive.​ics.​uci.​edu.

Eine solche Variable wird als Bernoulli-Variable bezeichnet, und die Ereignisse können als Ergebnisse eines Bernoulli-Prozesses angesehen werden. Die sich daraus ergebende Wahrscheinlichkeitsverteilung wird als Bernoulli-Verteilung bezeichnet. Der Name geht auf Jacob Bernoulli (1656–1705) zurück. Das einfachste Beispiel für einen Bernoulli-Prozess ist der Münzwurf mit dem Erwartungswert E(Y) = π = 0,5 und der Varianz V(Y) = π(1 − π). Die Bernoulli-Verteilung ist ein Spezialfall der Binomialverteilung für N = 1 Versuche. Die Binomialverteilung resultiert aus einer Folge von N Bernoulli-Versuchen. Dementsprechend ist die Kauffrequenz (Summe der Käufe oder Käufer) binomial verteilt mit Stichprobengröße N. Mit zunehmendem N konvergiert die Binomialverteilung gegen die Normalverteilung.

Kategoriale unabhängige Variablen müssen, wie bei der linearen Regressionsanalyse, in binäre Variablen zerlegt werden.

Im Rahmen der „Verallgemeinerten Linearen Modelle“ bildet logit(π) eine sogenannte Linkfunktion, mit deren Hilfe ein linearer Zusammenhang zwischen dem Erwartungswert einer abhängigen Variablen und der systematischen Komponente des Modells hergestellt wird. Die Logit-Verknüpfung wird insbesondere dann verwendet, wenn eine binomiale Verteilung für die abhängige Variable angenommen wird. Hierzu vgl. Agresti (2013, S. 112–122); Fox (2015, S. 418 ff.).

Auf der zu diesem Buch gehörigen Internetseite www.​multivariate.​de stellen wir ergänzendes Material zur Verfügung, um das Verstehen der Methode zu erleichtern und zu vertiefen.

Behandlungen des linearen Wahrscheinlichkeitsmodells finden sich in Agresti (2007, S. 68, 2013, S. 117); Hosmer und Lemeshow (2000, S. 5).

Das Konzept der ROC-Kurve stammt aus der Nachrichtentechnik und wurde ursprünglich im 2. Weltkrieg zur Erkennung von Radar-Signalen bzw. feindlichen Objekten entwickelt und findet heute in vielen Wissenschaftsbereichen Anwendung. Vgl. dazu z. B. Agresti (2013, S. 224 ff.); Hastie et al. (2011, S. 313 ff.); Hosmer et al. (2013, S. 173 ff.) SPSS bietet eine Prozedur zur Erstellung von ROC-Kurven für gegebene Klassifizierungswahrscheinlichkeiten oder Diskriminanzwerte an. Die obige ROC-Kurve wurde mit Excel erstellt.

Eine weitere Gefahr der „falschen Negativität“ besteht darin, dass eine kranke Person die Krankheit verbreiten kann. Die schockierend hohe Rate von „falsch-negativen“ Testergebnissen hat zur raschen Ausbreitung der COVID-19-Pandemie im Jahr 2020 beigetragen.

Das Prinzip der ML-Methode geht zurück Daniel Bernoulli (1700–1782), einem Neffen von Jakob Bernoulli. Ronald A. Fisher (1890–1962) analysierte die statistischen Eigenschaften der ML-Methode und bereitete so den Weg für ihre praktische Anwendung und Verbreitung. Sie bildet neben der KQ-Methode das wichtigste statistische Schätzprinzip.

Für die Logistische Regression kommen primär Quasi-Newton-Verfahren zur Anwendung, die recht schnell konvergieren. Diese Verfahren basieren auf der Methode von Newton zum Auffinden der Nullstelle einer Funktion. Sie benutzen zur Auffindung des Optimums die ersten und zweiten partiellen Ableitungen der LL-Funktion nach den unbekannten Parametern. Die Ableitungen werden, je nach Verfahren, unterschiedlich approximiert. Spezielle Verfahren sind die Gauss–Newton-Methode und deren Weiterentwicklung, die Newton–Raphson-Methode. Verbreitete Anwendung findet inzwischen auch die Methode der Iteratively Reweighted Least Squares (IRLS). Siehe dazu z. B. Agresti (2013, S. 149 ff.); Fox (2015, S. 431 ff.); Press et al. (2007, S. 521 ff.).

McFadden (1974) hat nachgewiesen, dass bei linearer systematischer Komponente des logistischen Modells die LL-Funktion global konvex verläuft, was die Maximierung sehr erleichtert.

Der Begriff „Odds“ wird nur im Plural verwendet. Das Konzept der Odds und ihre Nützlichkeit wurde von dem italienischen Mathematiker und Arzt Gerolano Cardano (1501–1576) beschrieben, der seinen Lebensunterhalt mit Glücksspielen aufbessern musste. In seinem „Buch über Glücksspiele“ schrieb er die erste Abhandlung über Wahrscheinlichkeiten. Die Wahrscheinlichkeitstheorie entwickelte sich erst später im 17. Jahrhundert mit den Arbeiten der Wissenschaftler Pierre de Fermat (1601–1665), Blaise Pascal (1623–1662) und Jakob Bernoulli (1655–1705).

Der Name „logit“ wurde 1944 von Joseph Berkson eingeführt, der ihn als Abkürzung für „logistische Einheit“ verwendete, in Analogie zur Abkürzung „probit“ für „Wahrscheinlichkeitseinheit“. Berkson trug stark zur Entwicklung und Popularisierung der logistischen Regression bei.

Das ist der Grund, warum das Zeichen „per definition gleich“ in Gl. (5.33) und (5.34) verwendet wurde.

Die Odds Ratios können alternativ mit (5.32) berechnet werden durch: OR_m = e^b2 = e^1,751 = und OR_w = e^–b2 = e^–1,751 = 0,174

Im allgemeinen Sprachgebrauch wird der Begriff Risiko mit negativen Ereignissen wie Unfällen, Krankheit oder Tod assoziiert. Hier bezieht sich der Risikobegriff auf die Wahrscheinlichkeit eines ungewissen Ereignisses.

Dies kann in so genannten Fall-Kontroll-Studien der Fall sein, bei denen die Gruppen nicht durch Zufallsstichproben gebildet werden. Die Größe der Gruppen kann also nicht für die Schätzung von Wahrscheinlichkeiten verwendet werden. Solche Studien werden oft für die Analyse seltener Ereignisse durchgeführt, z. B. in der Epidemiologie, Medizin oder Biologie. Vgl. Agresti (2013, S. 42 f.); Hosmer et al. (2013, S. 229 f.).

Daher wird in SPSS die LLR-Statistik als Chi-Quadrat bezeichnet. Zur Wahrscheinlichkeits-Ratio-Test-Statistik siehe z. B. Agresti (2013, S. 11); Fox (2015, S. 346 ff.).

Um das Verständnis des Lesers für die Grundlagen des statistischen Testens aufzufrischen, bietet Abschn. 1.​3 hierzu eine kurze Zusammenfassung.

Mit Excel lässt sich der p-Wert berechnen, indem die Funktion  CHIQU.VERT.RE(x;df) verwendet wird. Es ergibt sich CHIQU.VERT.RE(9,35;2) = 0,009.

Voraussetzung für die Chi-Quadrat-Verteilung ist, dass es sich um ineinander verschachtelte Modelle (nested models) handelt. Die Variablen eines der Modelle müssen eine Untermenge der Variablen des anderen Models bilden.

Beide Tests werden in SPSS verwendet, aber der LR-Test wird nur im NOMREG-Verfahren für die multinomiale logistische Regression verwendet, nicht aber für die binäre Logistische Regression.

Benannt nach dem ungarischen Mathematiker Abraham Wald (1902–1950). Siehe zum Wald Test auch Agresti (2013, S. 10); Hosmer et al. (2013, S. 42 ff.).

Der Grund ist, dass der Standardfehler zu groß wird, insbesondere wenn der absolute Wert des Koeffizienten groß ist. Die Wald-Statistik wird damit zu klein und der p-Wert zu groß. Siehe dazu Hauck und Donner (1977). Agresti (2013, S. 169), weist darauf hin, dass der Likelihood-Ratio-Test mehr Information nutzt als der Wald-Test und deshalb vorzuziehen ist.

Der Anwender findet alle in diesem Kapitel verwendeten Excel-Dateien auf der Internetseite zu diesem Buch www.​multivariate.​de.

Die binäre Logistische Regression kann auch mit Hilfe der SPSS-Syntax ausgeführt werden, die in Abschn. 5.4.4 in Abb. 5.42 dargestellt ist.

Eine Alternative ist, die Parameter so zu zentrieren, dass ihre Summe über die beiden Kategorien Null ist.

Für dieses Beispiel wird ein zweiter Datensatz mit 50 Beobachtungen verwendet.

In SPSS (Verfahren NOMREG) kann der Benutzer eine beliebige Kategorie als Referenzkategorie wählen und so die Quoten anhand des Baseline-Logit-Modells bestimmen. Dies geschieht im Dialogfenster durch die Option „Referenzkategorie“ und „Benutzerdefiniert“. Standardmäßig wird die letzte Kategorie G gewählt. Die Kategorie mit der niedrigsten Codierung wird gewählt, wenn der Benutzer die Kategoriereihenfolge „Absteigend“ wählt (Standard ist „Aufsteigend“).

Für X² = 0 muss der p-Wert 1,0 betragen. Er kann jedoch nicht berechnet werden, da es für dieses Modell keine Freiheitsgrade gibt. Es dient nur dazu, das Prinzip der Berechnung zu demonstrieren. Die vorhergesagten (erwarteten) Wahrscheinlichkeiten sind hier gleich den relativen Häufigkeiten der beobachteten Werte in der jeweiligen Teilpopulation, d. h. für Männer und für Frauen.

Für das Fallbeispiel wird der gleiche Datensatz wie auch im Fallbeispiel zur Diskriminanzanalyse (vgl. Abschn. 4.​3) verwendet, um so die Gemeinsamkeiten und Unterschiede zwischen beiden Verfahren besser verdeutlichen zu können.

Auf der zu diesem Buch gehörigen Internetseite www.​multivariate.​de stellen wir ergänzendes Material zur Verfügung, um das Verstehen der Methode zu erleichtern und zu vertiefen.

Fehlende Werte sind ein häufiges und leider unvermeidbares Problem bei empirischen Erhebungen (z. B. weil Personen eine Frage nicht beantworten konnten oder wollten). Der Umgang mit fehlenden Werten in empirischen Studien wird in Abschn. 1.​5.​2 dieses Buches diskutiert.

Es gibt eine dritte Gruppe von Variablen, die nach Person und Alternativen variieren. Beispiele sind die subjektiv wahrgenommenen Eigenschaften, die im Fallbeispiel enthalten waren.

Logit-Choice-Modelle wurden durch die Arbeit von Daniel McFadden (1974) populär, der die Grundlagen für diese Modelle und ihre Anwendungen legte. Im Jahr 2000 gewann er den Nobelpreis für Wirtschaftswissenschaften. Abhandlungen über diese Modelle finden sich in den Büchern von Ben-Akiva und Lerman (1985); Hensher et al. (2015); Train (2009). Die Anwendungen betreffen die Nutzung von Transportalternativen (z. B. Auto, Straßenbahn, Bus, Fahrrad, zu Fuß (Mc Fadden, 1974) oder Marktdaten von Scanner-Panels (z. B. Guadagni & Little, 1983; Jain et al., 1994).

SPSS enthält kein spezielles Verfahren für die Logit-Choice-Analyse. Für die Berechnung kann jedoch das Verfahren COXREG für Cox-Regression verwendet werden.

Die Diskriminanzanalyse unterstellt, dass die unabhängigen Variablen multivariat normalverteilt sind, während die LRA davon ausgeht, dass die abhängige Variable einer binomialen oder multinomialen Verteilung folgt.