Stochastik für Einsteiger

In der Stochastik werden die Ergebnisse eines stochastischen Vorgangs durch eine Menge beschrieben, die Grundraum oder Ergebnismenge genannt wird. Ein solcher Vorgang kann ein ideales Zufallsexperiment sein, das unter festgelegten, gleichen Bedingungen prinzipiell beliebig oft in unabhängiger Folge durchgeführt werden kann. Die Ergebnisse von Zufallsexperimenten, die aus hintereinander ausgeführten Einzelexperimenten bestehen, lassen sich durch Tupel modellieren.

Bei einem stochastischen Vorgang interessiert oft nur, ob dessen Ausgang zu einer gewissen Menge von Ergebnissen gehört. Auf diese Weise entstehen Ereignisse als Teilmengen eines Grundraums. Der Grundraum und die leere Menge bilden das sichere bzw. das unmögliche Ereignis. Ereignisse kann man mengentheoretisch miteinander verknüpfen und erhält so neue Ereignisse. Disjunkte Ereignisse können nicht zugleich eintreten.

In diesem Kapitel lernen wir Zufallsvariablen als natürliches Darstellungsmittel für Ereignisse kennen. Eine Zufallsvariable ist eine Abbildung, die jedem Element des Grundraums eine reelle Zahl zuordnet. Besondere Bedeutung besitzen Indikatorvariablen, die nur die Werte 0 und 1 annehmen und anzeigen, ob ein Ereignis eintritt oder nicht. Indikatorsummen geben an, wie viele von gegebenen Ereignissen eintreten.

Die Eigenschaft relativer Häufigkeiten als Funktion der Ereignisse dienen zur Motivation der axiomatischen Eigenschaften von Wahrscheinlichkeiten. Die relative Häufigkeit des Eintretens einer Ereignisses A unter gleichen, sich gegenseitig nicht beeinflussenden Bedingungen gibt Informationen über die Aussicht des Eintretens von A in einem zukünftigen Versuch. Relative Häufigkeiten stabilisieren sich bei wachsender Versuchsanzahl erfahrungsgemäß.

In diesem Kapitel führen wir Grundbegriffe der beschreibenden Statistik wie Grundgesamtheit, Stichprobe, Merkmal, Stab- und Kreisdiagramm, Histogramm, Stamm- und Blatt-Darstellung und Boxplot ein. Außerdem diskutieren wir Lagemaße wie arithmetisches Mittel und Quantile sowie Streuungsmaße wie Varianz, Standardabweichung, Quartilsabstand und Median-Abweichung.

In diesem Kapitel wird das Kolmogorovsche Axiomensystem für den Fall endlicher Grundräume vorgestellt und der Begriff der Wahrscheinlichkeit formal-logisch definiert. Aus dem Axiomensystem resultierende Regeln wie die Monotonie oder die Subadditivität eines Wahrscheinlichkeitsmaßes und das Additionsgesetz bilden das kleine Einmaleins im Umgang mit Wahrscheinlichkeiten. Außerdem stellen wir die Verteilung einer Zufallsvariablen als weiteren Grundbegriff der Stochastik vor.

Es gibt zahlreiche stochastische Vorgänge mit endlich vielen Ausgängen, bei denen man alle Ausgänge als gleich wahrscheinlich ansehen würde. Die Modellierung solcher Vorgänge erfolgt mit Hilfe eines Laplaceschen Wahrscheinlichkeitsraums. Ein klassischer Irrtum von Leibniz im Zusammenhang mit dem zweifachen Würfelwurf und Fehlvorstellungen beim Drei-Türen-Problem zeigen, dass man mit der vorschnellen Annahme eines Laplace-Modells vorsichtig sein muss.

Erscheint in einer Situation ein Laplace-Modell angemessen, so ergibt sich die Wahrscheinlichkeit eines Ereignisses A als Quotient der für A günstigen Fälle und der insgesamt möglichen Fälle. Somit entsteht zwangsläufig das Problem, die Anzahl der Elemente einer Menge bestimmen und damit Grundkenntnisse der Kombinatorik erwerben zu müssen. In diesem Kapitel werden die Grundformeln der Kombinatorik für Permutationen und Kombinationen mit und ohne Wiederholung vorgestellt. Als Anwendung ergibt sich eine schnelle Lösung des klassischen Stimmzettelproblems mit Hilfe des Spiegelungsprinzips.

Viele stochastische Vorgänge lassen sich durch Urnen- oder Fächer-Modelle beschreiben, wodurch alle unwesentlichen Aspekte der ursprünglichen Fragestellung wegfallen. In diesem Kapitel werden jeweils vier Urnen- und Fächer-Modelle vorgestellt und die zugehörigen Ergebnisräume präzisiert. Beim Urnenmodell entstehen die vier Teilmodelle, indem man danach unterscheidet, ob das Ziehen mit oder ohne Zurücklegen erfolgt und ob die Reihenfolge der Ziehungen beachtet wird oder nicht. Fächer-Modelle gliedern sich danach auf, ob die Teilchen unterscheidbar sind oder nicht und Mehrfachbesetzungen erlaubt sind oder nicht.

Ausgehend von einem Artikel in der Tagespresse wird die erste Gewinnreihenwiederholung im Deutschen Lotto 6 aus 49 zum Anlass genommen, das der Intuition zuwider laufende Phänomen der frühen ersten Kollision in einem Fächer-Modell zu studieren. Ein Grenzwertsatz zeigt, dass die Anzahl der Teilchen, die nötig sind, bis zum ersten Mal ein Teilchen in ein bereits besetztes Fach fällt, mit der Wurzel der Anzahl der Fächer wächst.

In diesem Kapitel wird eine Formel zur Bestimmung der Wahrscheinlichkeit von Ereignissen vorgestellt, die unter verschieden Namen wie Formel des Ein- und Ausschließens, Formel von Poincaré-Sylvester oder Allgemeines Additionsgesetz bekannt ist. Sie erlaubt es, Wahrscheinlichkeiten der Vereinigung von Ereignissen mit Hilfe der Wahrscheinlichkeiten von Durchschnitten dieser Ereignisse auszudrücken. Als Anwendung ergibt sich eine schnelle Lösung des Rencontre-Problems, das auch als Problem der vertauschten Briefe bekannt ist.

Dieses Kapitel stellt mit dem Erwartungswert einen Grundbegriff der Stochastik vor. Der Erwartungswert einer Verteilung kann physikalisch als Schwerpunkt interpretiert werden. Die Erwartungswertbildung verhält sich additiv gegenüber der Addition von Zufallsvariablen, und der Erwartungswert der Indikatorfunktion eines Ereignisses ist die Wahrscheinlichkeit dieses Ereignisses. Hiermit erhält man zum Beispiel den Erwartungswert einer Zählvariablen, ohne deren Verteilung kennen zu müssen. Es zeigt sich, dass der Erwartungswert der Anzahl der Rekorde in einer rein zufälligen Permutation der Zahlen 1,2,…,n logarithmisch mit n wächst.

Zieht man n mal rein zufällig mit Zurücklegen aus einer Urne, die r rote und s schwarze Kugeln enthält, so besitzt die Anzahl der gezogenen roten Kugeln eine hypergeometrische Verteilung. Deutet man die roten Kugeln als defekte und die schwarzen als intakte Exemplare in einer Warenlieferung, so wird klar, dass die hypergeometrische Verteilung eine grundlegende Bedeutung für die statistische Qualitätskontrolle besitzt. In diesem Kapitel wird die hypergeometrische Verteilung ausführlich beleuchtet.

In diesem Kapitel werden mehrstufige Experimente mit Hilfe von Startwahrscheinlichkeiten und Übergangswahrscheinlichkeiten modelliert. Als Anwendungsbeispiel dient das Pólyasche Urnenschema, das ursprünglich als Modell zur Ausbreitung ansteckender Krankheiten vorgeschlagen wurde. Es zeigt sich, dass die aus der Schule bekannte erste Pfadregel kein mathematischer Satz ist, sondern eine aus dem empirischen Gesetz über die Stabilisierung relativer Häufigkeiten motivierte Definition für die Wahrscheinlichkeit eines Ergebnisses im mehrstufigen Experiment darstellt.

ln diesem Kapitel werden bedingte Wahrscheinlichkeiten über relative Häufigkeiten motiviert und ausführlich studiert. Hauptergebnisse sind die Formel von der totalen Wahrscheinlichkeit und die Bayes-Formel. Es zeigt sich, dass Übergangswahrscheinlichkeiten in mehrstufigen stochastischen Vorgängen bedingte Wahrscheinlichkeiten sind. Zahlreiche Beispiele und paradoxe Phänomene wie das Simpson-Paradoxon und die kontraintuitive hohe Rate falsch positiver Fälle bei Bluttests zeigen die Schwierigkeiten mit dem Begriff der bedingten Wahrscheinlichkeit auf.

Zentrales Thema dieses Kapitels ist die stochastische Unabhängigkeit von Ereignissen. Nach einer Motivation der Begriffsbildung wird die Unabhängigkeit von n Ereignissen definiert, und es werden die wichtigsten Folgerungen aus dieser Definition gezogen. Als Beispielklasse für unabhängige Ereignisse stellen sich mehrstufige Vorgänge heraus, bei denen die Übergangswahrscheinlichkeiten nicht von der Vergangenheit abhängen. In diesem Fall sind Ereignisse, die sich auf unterschiedliche Teilvorgänge beziehen, unabhängig. Einige instruktive Beispiele verdeutlichen die Schwierigkeiten im Umgang mit diesem Grundbegriff der Stochastik.

In diesem Kapitel lernen wir die gemeinsame Verteilung mehrerer Zufallsvariablen kennen. Aus der gemeinsamen Verteilung erhält man die Verteilungen der einzelnen Zufallsvariablen durch Marginalverteilungsbildung. Die Marginalverteilungen legen die gemeinsame Verteilung im Allgemeinen nicht fest. Zufallsvariablen sind stochastisch unabhängig, wenn die durch sie beschriebenen Ereignisse stochastisch unabhängig sind. Nach der Multiplikationsformel für Erwartungswerte ist der Erwartungswert eines Produktes stochastisch unabhängiger Zufallsvariablen gleich dem Produkt der einzelnen Erwartungswerte.

Dieses Kapitel behandelt mit der Binomialverteilung und der Multinomialverteilung zwei grundlegende Verteilungsgesetze der Stochastik. Beide treten in natürlicher Weise bei Zählvorgängen in unabhängigen und gleichartigen Experimenten auf. Eine Zufallsvariable mit der Binomialverteilung Bin(n,p) zählt die Zahl der Treffer in einer Bernoulli-Kette der Länge n mit Trefferwahrscheinlichkeit p. Die Multinomialverteilung ist die gemeinsame Verteilung von Trefferanzahlen, wenn n unabhängige gleichartige Experimente durchgeführt werden, die jeweils s verschiedene Ausgänge besitzen.

Bausteine für die stochastische Simulation sind gleichverteilte Pseudozufallszahlen, die von Pseudozufallszahlengeneratoren erzeugt werden. Solche Generatoren versuchen, für einen großen Wert von m die diskrete Gleichverteilung auf den Werten 0/m, 1/m,…, (m-1)/m zu simulieren. In diesem Kapitel wird mit dem linearen Kongruenzgenerator ein häufig verwendeter Zufallszahlengenerator vorgestellt. Eine prinzipielle Schwäche linearer Kongruenzgeneratoren ist deren Gitterstruktur. Die Ausführungen des Kapitels sollten zu einem vorsichtigen Umgang mit Zufallsgeneratoren mahnen.

Die Varianz einer Zufallsvariablen X ist der Erwartungswert der quadrierten Abweichung von X um den Erwartungswert von X. Die Varianz kann physikalisch als Trägheitsmoment gedeutet werden. Jede Zufallsvariable mit positiver Varianz kann standardisiert werden, indem man den Erwartungswert subtrahiert und dann durch die Standardabweichung, also durch die Wurzel aus der Varianz, dividiert. Durch die Tschebyschow-Ungleichung lässt sich die Wahrscheinlichkeit, dass sich eine Zufallsvariable betragsmäßig um einen Mindestwert vom Erwartungswert unterscheidet, mit Hilfe der Varianz nach oben abschätzen.

Dieses Kapitel behandelt mit der Kovarianz und der Korrelation zwei weitere Grundbegriffe der Stochastik. Stochastisch unabhängige Zufallsvariablen sind unkorreliert, sie haben also die Kovarianz Null. Der Korrelationskoeffizient entsteht, indem man die Kovarianz zweier Zufallsvariablen X und Y durch das Produkt der Standardabweichungen von X und Y teilt. Er tritt auch im Zusammenhang mit einem Optimierungsproblem auf, bei dem eine Zufallsvariable durch eine affine Funktion einer anderen bestmöglich im Sinne der mittleren quadratischen Abweichung vorhergesagt werden soll. Das Quadrat des Korrelationskoeffizienten ist höchstens Eins. Das empirische Analogon des Korrelationskoeffizienten ist der bei der Methode der kleinsten Quadrate entstehende empirische Korrelationskoeffizient.

In diesem Kapitel erfolgt eine Erweiterung der bisherigen Theorie auf abzählbar-unendliche Ergebnisräume. Die Notwendigkeit für eine solche Erweiterung wird schon bei einfachen Wartezeitproblemen deutlich. In der Definition des Wahrscheinlichkeitsraums tritt jetzt das Axiom der Sigma-Addititivität auf. Die Existenz allgemeiner diskreter Wahrscheinlichkeitsräume wird durch den großen Umordnungssatz für Reihen garantiert. Wichtige unendliche Reihen, die bei diskreten Verteilungen zum Tragen kommen, sind die Exponentialreihe, die geometrische Reihe und die Binomialreihe.

Dieses Kapitel ist verschiedenen Wartezeitproblemen gewidmet. Eine Zufallsvariable mit geometrischer Verteilung G(p) beschreibt die Anzahl der Nieten vor dem ersten Treffer in einer Bernoulli-Kette mit Trefferwahrscheinlichkeit p. In Verallgemeinerung dazu entsteht die negative Binomialverteilung Nb(r,p). wenn die Anzahl der Nieten vor dem r-ten Treffer gezählt wird. Beim Sammlerproblem werden in unabhängiger Folge solange Teilchen in Fächer verteilt, bis jedes Fach mindestens ein Teilchen enthält. Die Verteilung der Anzahl hierfür benötigten Teilchen ergibt sich mit Hilfe der Formel des Ein- und Ausschließens.

Die Poisson-Verteilung ist ein weiteres wichtiges Verteilungsgesetz der Stochastik. Sie entsteht als Approximation der Binomialverteilung Bin(n,p) bei großem n und kleinen p. Wie das klassische Rutherford-Geiger-Experiment zeigt, tritt sie insbesondere bei spontanen Phänomenen auf. Bei der Poisson-Verteilung sind Erwartungswert und Varianz identisch, und die Summe zweier unabhängiger Poisson-verteilter Zufallsvariablen ist ebenfalls Poisson-verteilt.

In diesem Kapitel lernen wir erzeugende Funktionen als ein häufig verwendetes Hilfsmittel zur Lösung kombinatorischer Probleme kennen. In der Stochastik treten erzeugende Funktionen bei der Untersuchung N₀-wertiger Zufallsvariablen auf. Die erzeugende Funktion g_X einer Zufallsvariablen X legt die Verteilung von X fest, und durch Differentiation von g_X erhält man Erwartungswert und Varianz von X. Mit Hilfe der Multiplikationsformel ergibt sich die Verteilung der Augensumme beum n-fachen Würfelwurf.

In diesem Kapitel lernen wir mit bedingten Erwartungswerten und bedingten Verteilungen zwei weitere wichtige Konzepte der Stochastik kennen. Bedingte Erwartungswerte bilden die Grundlage vieler stochastischer Prozesse und besitzen auch für die Statistik große Bedeutung. Der bedingte Erwartungswert liefert die beste Vorhersage im Sinne der mittleren quadratischen Abweichung, wenn eine Zufallsvariable durch eine beliebige Funktion einer anderen Zufallsvariablen approximiert werden soll. Mit Hilfe bedingter Erwartungswerte können Erwartungswert und Varianz einer Zufallsvariablen iteriert gewonnen werden.

Dieses Kapitel behandelt das schwache Gesetz großer Zahlen. Nach diesem Gesetz konvergieren die arithmetischen Mittel von n stochastisch unabhängigen Zufallsvariablen mit gleichem Erwartungswert a und gleicher Varianz stochastisch gegen a, wenn n gegen Unendlich konvergiert. Als Spezialfall ergibt sich das schwache Gesetz großer Zahlen von Bernoulli, wonach die zufällige relative Trefferhäufigkeit in einer Bernoulli-Kette der Länge n bei wachsendem n stochastisch gegen die Trefferwahrscheinlichkeit konvergiert.

Zentrale Grenzwertsätze gehören zu den schönsten und im Hinblick auf statistische Fragestellungen wichtigsten Resultaten der Wahrscheinlichkeitstheorie. Der zentrale Grenzwertsatz von de Moivre-Laplace besagt, dass sich die Verteilung einer Zufallsvariablen mit der Binomialverteilung Bin(n,p) nach Standardisierung bei wachsendem n der Standard-Normalverteilung annähert. Die Wahrscheinlichkeit, dass die standardisierte Zufallsvariable in ein beliebig vorgegebenes Intervall fällt, konvergiert also gegen das Integral der Gaußschen Glockenkurve über dieses Intervall. Der zentrale Grenzwertsatz von Lindeberg-Lévy besagt, dass obiges Resultat allgemeiner für standardisierte Summen unabhängiger und identisch verteilter Zufallsvariablen mit endlicher, positiver Varianz zutrifft.

Dieses Kapitel führt anhand der Binomialverteilung in die Schätztheorie ein. Nach einer Thematisierung des Maximum-Likelihood-Schätzprinzips wird ausführlich auf Konfidenzbereiche eingegangen. Der Zentrale Grenzwertsatz ermöglicht sowohl die Konstruktion approximativer Konfidenzbereiche bei großem Stichprobenumfang als auch eine Abschätzung des nötigen Stichprobenumfangs, um eine vorgeschriebene Genauigkeit der Konfidenzaussage einzuhalten. Schließlich wird gezeigt, wie man mit Hilfe der Randomized-Response-Technik zuverlässige Antworten auf heikle Fragen erhalten kann.

In diesem Kapitel geben wir einen Einblick in die Problematik des Testens statistischer Hypothesen. Am Beispiel der tea tasting lady werden die Grundbegriffe der Testtheorie wie Hypothese und Alternative, kritischer Bereich, Testgröße, Fehler erster und zweiter Art, Signifikanzniveau und p-Wert eingeführt. Ausführlich behandelt werden der ein- und zweiseitige Binomialtest und der Chi-Quadrat-Test. Das Kapitel schließt mit einer Diskussion grundlegender Fehler im Zusammenhang mit der Anwendung von Tests, wozu auch die Erschleichung von Signifikanz gehört.

Thema dieses Kapitels sind das allgemeine Kolmogorovsche Axiomensystem, Verteilungsfunktionen von Zufallsvariablen und deren Eigenschaften sowie (absolut) stetig verteilte Zufallsvariablen und der damit einhergehende Dichtebegriff. Das Beispiel der Cantorschen Verteilungsfunktion zeigt, dass nicht jede stetige Verteilungsfunktion eine Dichte besitzen muss. Die Begriffsbildungen Sigma-Algebra und Messbarkeit werden thematisiert, aber nicht weiter vertieft.

In diesem Kapitel lernen wir wichtige stetige Verteilungen wie die Gleichverteilung, die Exponentialverteilung, die Normalverteilung, die Gammaverteilung und die Weibull-Verteilung sowie deren Anwendungsbereiche kennen. Grundlegende Kenngrößen sind auch hier Erwartungswert, Varianz und Standardabweichung, die völlig analog zur Vorgehensweise bei diskreten Verteilungen eingeführt werden. Schließlich definieren wir das p-Quantil einer Verteilung als theoretisches Gegenstück zum empirischen p-Quantil einer Datenreihe und zeigen, wie man mit Hilfe der Quantiltransformation Pseudozufallszahlen nach beliebigen Verteilungen erzeugen kann.

Auf Kapitel 17 und Kapitel 21 aufbauend werden gemeinsame Verteilungen mehrerer Zufallsvariablen eingeführt. Zentrale Begriffe sind gemeinsame und marginale Dichte, Unabhängigkeit, Faltungsformel sowie Kovarianz und Korrelation. Mit der Faltungsformel ergeben sich Additionsgesetze für die Normalverteilung und für die Gammaverteilung. Ein weiteres Thema sind Ordnungsstatistiken, die über die geordnete Stichprobe definiert sind. Ihre Verteilung hängt eng mit der Binomialverteilung zusammen.

In diesem Kapitel betrachten wir Schätz- und Testverfahren, bei denen die zu analysierenden Daten als Realisierungen stetiger Zufallsvariablen angenommen werden. Grundlegende Begriffsbildungen wie Konfidenzbereich, Test, Fehler erster und zweiter Art, Signifikanzniveau und Gütefunktion werden aus den Kapiteln 28 und 29 als bekannt vorausgesetzt. Behandelt werden sowohl nichtparametrische Verfahren wie der Vorzeichentest, Konfidenzbereiche für den Median und der Wilcoxon-Rangsummentest als auch klassische Verfahren wie der Gauß- und der t-Test, denen eine Normalverteilungsannahme zugrunde liegt. Dabei unterscheiden wir grob zwischen Ein- und Zweistichproben-Problemen.

Nachdem Sie, lieber Leser, beim Durcharbeiten bis an diese Stelle vorgedrungen sind, können Sie nun beurteilen, ob die zu Beginn dieses Buches gesteckten Ziele erreicht wurden. Sie sollten einen ersten Eindruck von den Grundbegriffen und Ideen der Stochastik gewonnen haben und dabei mit relativ elementaren mathematischen Kenntnissen ausgekommen sein. Zum einen wollte ich Ihre stochastische Intuition schärfen, zum anderen sollten Sie aber auch die formalen Grundlagen der Mathematik des Zufalls erlernen, um bei der Kunst des stochastischen Modellierens von Zufallsphänomenen auf sicherem Boden zu stehen.

Tabelle der standardisierten Normalverteilung

Quantile der t-Verteilung

Kritische Werte der Wilcoxon-Rangsummenstatistik

Lösungen der Übungsaufgaben