Stochastik für Einsteiger

In der Stochastik werden die Ergebnisse eines stochastischen Vorgangs durch eine Menge beschrieben, die Grundraum oder Ergebnismenge genannt wird. Ein solcher Vorgang kann ein ideales Zufallsexperiment sein, das unter festgelegten, gleichen Bedingungen prinzipiell beliebig oft in unabhängiger Folge durchgeführt werden kann. Die Ergebnisse von Zufallsexperimenten, die aus hintereinander ausgeführten Einzelexperimenten bestehen, lassen sich durch Tupel modellieren.

Bei einem stochastischen Vorgang interessiert oft nur, ob dessen Ausgang zu einer gewissen Menge von Ergebnissen gehört. Auf diese Weise entstehen Ereignisse als Teilmengen eines Grundraums. Der Grundraum und die leere Menge bilden das sichere bzw. das unmögliche Ereignis. Ereignisse kann man mengentheoretisch miteinander Verknüpfen und erhält so neue Ereignisse. Disjunkte Ereignisse können nicht zugleich eintreten.

In diesem Kapitel lernen wir Zufallsvariablen als natürliche Darstellungsmittel für Ereignisse kennen. Eine Zufallsvariable ist eine Abbildung, die jedem Element des Grundraums eine reelle Zahl zuordnet. Besondere Bedeutung besitzen Indikatorvariablen, die nur die Werte 0 und 1 annehmen und anzeigen, ob ein Ereignis eintritt oder nicht. Indikatorsummen geben an, wie viele von gegebenen Ereignissen eintreten.

Die um einen unbekannten Wert. Die Eigenschaft relativer Häufigkeiten als Funktion der Ereignisse dienen zur Motivation der axiomatischen Eigenschaften von Wahrscheinlichkeiten relative Häufigkeit des Eintretens einer Ereignisses A unter gleichen, sich gegenseitig nicht beeinflussenden Bedingungen gibt Informationen über die Aussicht des Eintretens von A in einem zukünftigen Versuch. Relative Häufigkeiten die stabilisieren sich bei wachsender Versuchsanzahl erfahrungsgemäß.

In diesem Kapitel führen wir Grundbegriffe der beschreibenden Statistik wie Grundgesamtheit, Stichprobe, Merkmal, Stab- und Kreisdiagramm, Histogramm, Stamm- und Blatt-Darstellung und Boxplot ein. Außerdem diskutieren wir Lagemaße wie arithmetisches Mittel und Quantile sowie Streuungsmaße wie Varianz, Standardabweichung, Quartilsabstand und Median-Abweichung.

In diesem Kapitel wird das Kolmogorovsche Axiomensystem für den Fall endlicher Grundräume vorgestellt und der Begriff der Wahrscheinlichkeit formal-logisch definiert. Aus dem Axiomensystem resultierende Regeln wie die Monotonie oder die Subadditivität eines Wahrscheinlichkeitsmaßes und Additionsgesetz bilden das kleine Einmaleins im Umgang mit Wahrscheinlichkeiten. Außerdem stellen wir die Verteilung einer Zufallsvariablen als weiteren Grundbegriff der Stochastik vor.

Es gibt zahlreiche stochastische Vorgänge mit endlich vielen Ausgängen, bei denen man alle Ausgänge als gleich wahrscheinlich ansehen würde. Die Modellierung solcher Vorgänge erfolgt mit Hilfe eines Laplaceschen Wahrscheinlichkeitsraums. Ein klassischer Irrtum von Leibniz im Zusammenhang mit dem zweifachen Würfelwurf und Fehlvorstellungen beim Drei-Türen-Problem zeigen, dass man mit der vorschnellen Annahme eines Laplace-Modells vorsichtig sein muss.

Erscheint in einer Situation ein Laplace-Modell angemessen, so ergibt sich die Wahrscheinlichkeit eines Ereignisses A als Quotient der für A günstigen Fälle und der insgesamt möglichen Fälle. Somit entsteht zwangsläufig das Problem, die Anzahl der Elemente einer Menge bestimmen und damit Grundkenntnisse der Kombinatorik erwerben zu müssen. In diesem Kapitel werden die Grundformeln der Kombinatorik für Permutationen und Kombinationen mit und ohne Wiederholung vorgestellt. Als Anwendung ergibt sich eine schnelle Lösung des klassischen Stimmzettelproblems mit Hilfe des Spiegelungsprinzips.

Viele stochastische Vorgänge lassen sich durch Urnen- oder Fächer-Modelle beschreiben, wodurch alle unwesentlichen Aspekte der ursprünglichen Fragestellung wegfallen. In diesem Kapitel werden jeweils vier Urnen- und Fächer-Modelle vorgestellt und die zugehörigen Ergebnisräume präzisiert. Beim Urnenmodell entstehen die vier Teilmodelle, indem man danach unterscheidet, ob das Ziehen mit oder ohne Zurücklegen erfolgt und ob die Reihenfolge der Ziehungen beachtet wird oder nicht. Fächer-Modelle gliedern sich danach auf, ob die Teilchen unterscheidbar sind oder nicht und Mehrfachbesetzungen erlaubt sind oder nicht.

Ausgehend von einem Artikel in der Tagespresse wird die erste Gewinnreihenwiederholung im Deutschen Lotto 6 aus 49 zum Anlass genommen, das der Intuition zuwider laufende Phänomen der frühen ersten Kollision in einem Fächer-Modell zu studieren. Ein Grenzwertsatz zeigt, dass die Anzahl der Teilchen, die nötig sind, bis zum ersten Mal ein Teilchen in ein bereits besetztes Fach fällt, mit der Wurzel der Anzahl der Fächer wächst.

In diesem Kapitel wird eine Formel zur Bestimmung der Wahrscheinlichkeit von Ereignissen vorgestellt, die unter verschieden Namen wie Formel des Ein- und Ausschließens, Formel von Poincaré-Sylvester oder Allgemeines Additionsgesetz bekannt ist. Sie erlaubt es, Wahrscheinlichkeiten der Vereinigung von Ereignissen mit Hilfe der Wahrscheinlichkeiten von Durchschnitten dieser Ereignisse auszudrücken. Als Anwendung ergibt sich eine schnelle Lösung des Rencontre-Problems, das auch als Problem der vertauschten Briefe bekannt ist.

Dieses Kapitel stellt mit dem Erwartungswert einen Grundbegriff der Stochastik vor. Der Erwartungswert einer Verteilung kann physikalisch als Schwerpunkt interpretiert werden. Die Erwartungswertbildung verhält sich additiv gegenüber der Addition von Zufallsvariablen, und der Erwartungswert der Indikatorfunktion eines Ereignisses ist die Wahrscheinlichkeit dieses Ereignisses. Hiermit erhält man zum Beispiel den Erwartungswert einer Zählvariablen, ohne deren Verteilung kennen zu müssen. Es zeigt sich, dass der Erwartungswert der Anzahl der Rekorde in einer rein zufälligen Permutation der Zahlen $$1, 2, \ldots , n$$ 1 , 2 , … , n logarithmisch mit n wächst.

Zieht man n mal rein zufällig mit Zurücklegen aus einer Urne, die r rote und s schwarze Kugeln enthält, so besitzt die Anzahl der gezogenen roten Kugeln eine hypergeometrische Verteilung. Deutet man die roten Kugeln als defekte und die schwarzen als intakte Exemplare in einer Warenlieferung, so wird klar, dass die hypergeometrische Verteilung eine grundlegende Bedeutung für die statistische Qualitätskontrolle besitzt. In diesem Kapitel wird die hypergeometrische Verteilung ausführlich beleuchtet.

ln diesem Kapitel werden bedingte Wahrscheinlichkeiten über relative Häufigkeiten motiviert und ausführlich studiert. Hauptergebnisse sind die Formel von der totalen Wahrscheinlichkeit und die Bayes-Formel. Es zeigt sich, dass Übergangswahrscheinlichkeiten in mehrstufigen stochastischen Vorgängen bedingte Wahrscheinlichkeiten sind. Zahlreiche Beispiele und paradoxe Phänomene wie das Simpson-Paradoxon und die kontraintuitive hohe Rate falsch positiver Fälle bei Bluttests zeigen die Schwierigkeiten mit dem Begriff der bedingten Wahrscheinlichkeit auf.

Zentrales Thema dieses Kapitels ist die stochastische Unabhängigkeit von Ereignissen. Nach einer Motivation der Begriffsbildung wird die Unabhängigkeit von n Ereignissen definiert, und es werden die wichtigsten Folgerungen aus dieser Definition gezogen. Als Beispielklasse für unabhängige Ereignisse stellen sich mehrstufige Vorgänge heraus, bei denen die Übergangswahrscheinlichkeiten nicht von der Vergangenheit abhängen. In diesem Fall sind Ereignisse, die sich auf unterschiedliche Teilvorgänge beziehen, unabhängig. Einige instruktive Beispiele verdeutlichen die Schwierigkeiten im Umgang mit diesem Grundbegriff der Stochastik.

In diesem Kapitel lernen wir die gemeinsame Verteilung mehrerer Zufallsvariablen kennen. Aus der gemeinsamen Verteilung erhält man die Verteilungen der einzelnen Zufallsvariablen durch Marginalverteilungsbildung. Die Marginalverteilungen legen die gemeinsame Verteilung im Allgemeinen nicht fest. Zufallsvariablen sind stochastisch unabhängig, wenn die durch sie beschriebenen Ereignisse stochastisch unabhängig sind. Nach der Multiplikationsformel für Erwartungswerte ist der Erwartungswert eines Produktes stochastisch unabhängiger Zufallsvariablen gleich dem Produkt der einzelnen Erwartungswerte.

Dieses Kapitel behandelt mit der Binomialverteilung und der Multinomialverteilung zwei grundlegende Verteilungsgesetze der Stochastik. Beide treten in natürlicher Weise bei Zählvorgängen in unabhängigen und gleichartigen Experimenten auf. Eine Zufallsvariable mit der Binomialverteilung $$\textrm{Bin}(n,p)$$ Bin ( n , p ) zählt die Zahl der Treffer in einer Bernoulli-Kette der Länge n mit Trefferwahrscheinlichkeit p. Die Multinomialverteilung ist die gemeinsame Verteilung von Trefferanzahlen, wenn n unabhängige gleichartige Experimente durchgeführt werden, die jeweils s verschiedene Ausgänge besitzen.

Bausteine für die stochastische Simulation sind gleichverteilte Pseudozufallszahlen, die von Pseudozufallszahlengeneratoren erzeugt werden. Solche Generatoren versuchen, für einen großen Wert von m die diskrete Gleichverteilung auf den Werten $$0/m, 1/m,\ldots , (m-1)/m$$ 0 / m , 1 / m , … , ( m - 1 ) / m zu simulieren. In diesem Kapitel wird mit dem linearen Kongruenzgenerator ein häufig verwendeter Zufallszahlengenerator vorgestellt. Eine prinzipielle Schwäche linearer Kongruenzgeneratoren ist deren Gitterstruktur. Die Ausführungen des Kapitels sollten zu einem vorsichtigen Umgang mit Zufallsgeneratoren mahnen.

Die Varianz einer Zufallsvariablen X ist der Erwartungswert der quadrierten Abweichung von X um den Erwartungswert von X. Die Varianz kann physikalisch als Trägheitsmoment gedeutet werden. Jede Zufallsvariable mit positiver Varianz kann standardisiert werden, indem man den Erwartungswert subtrahiert und dann durch die Standardabweichung, also durch die Wurzel aus der Varianz, dividiert. Durch die Tschebyschow-Ungleichung lässt sich die Wahrscheinlichkeit, dass sich eine Zufallsvariable betragsmäßig um einen Mindestwert vom Erwartungswert unterscheidet, mit Hilfe der Varianz nach oben abschätzen.

Dieses Kapitel behandelt mit der Kovarianz und der Korrelation zwei weitere Grundbegriffe der Stochastik. Stochastisch unabhängige Zufallsvariablen sind unkorreliert, sie haben also die Kovarianz Null. Der Korrelationskoeffizient entsteht, indem man die Kovarianz zweier Zufallsvariablen X und Y durch das Produkt der Standardabweichungen von X und Y teilt. Er tritt auch im Zusammenhang mit einem Optimierungsproblem auf, bei dem eine Zufallsvariable durch eine affine Funktion einer anderen bestmöglich im Sinne der mittleren quadratischen Abweichung vorhergesagt werden soll. Das Quadrat des Korrelationskoeffizienten ist höchstens Eins. Das empirische Analogon des Korrelationskoeffizienten ist der bei der Methode der kleinsten Quadrate entstehende empirische Korrelationskoeffizient.

In diesem Kapitel erfolgt eine Erweiterung der bisherigen Theorie auf abzählbar-unendliche Ergebnisräume. Die Notwendigkeit für eine solche Erweiterung wird schon bei einfachen Wartezeitproblemen deutlich. In der Definition des Wahrscheinlichkeitsraums tritt jetzt das Axiom der Sigma-Addititivität auf. Die Existenz allgemeiner diskreter Wahrscheinlichkeitsräume wird durch den großen Umordnungssatz für Reihen garantiert. Wichtige unendliche Reihen, die bei diskreten Verteilungen zum Tragen kommen, sind die Exponentialreihe, die geometrische Reihe und die Binomialreihe.

Dieses Kapitel ist verschiedenen Wartezeitproblemen gewidmet. Eine Zufallsvariable mit geometrischer Verteilung G(p) beschreibt die Anzahl der Nieten vor dem ersten Treffer in einer Bernoulli-Kette mit Trefferwahrscheinlichkeit p. In Verallgemeinerung dazu entsteht die negative Binomialverteilung Nb(r, p). wenn die Anzahl der Nieten vor dem r-ten Treffer gezählt wird. Beim Sammlerproblem werden in unabhängiger Folge solange Teilchen in Fächer verteilt, bis jedes Fach mindestens ein Teilchen enthält. Die Verteilung der Anzahl hierfür benötigten Teilchen ergibt sich mit Hilfe der Formel des Ein- und Ausschließens.

Die Poisson-Verteilung ist ein weiteres wichtiges Verteilungsgesetz der Stochastik. Sie entsteht als Approximation der Binomialverteilung $$\textrm{Bin}(n,p)$$ Bin ( n , p ) bei großem n und kleinen p. Wie das klassische Rutherford-Geiger-Experiment zeigt, tritt sie insbesondere bei spontanen Phänomenen auf. Bei der Poisson-Verteilung sind Erwartungswert und Varianz identisch, und die Summe zweier unabhängiger Poisson-verteilter Zufallsvariablen ist ebenfalls Poisson-verteilt.

In diesem Kapitel lernen wir erzeugende Funktionen als ein häufig verwendetes Hilfsmittel zur Lösung kombinatorischer Probleme kennen. In der Stochastik treten erzeugende Funktionen bei der Untersuchung $$\mathbb {N}_0$$ N 0 -wertiger Zufallsvariablen auf.

In diesem Kapitel lernen wir mit bedingten Erwartungswerten und bedingten Verteilungen zwei weitere wichtige Konzepte der Stochastik kennen. Bedingte Erwartungswerte bilden die Grundlage vieler stochastischer Prozesse und besitzen auch für die Statistik große Bedeutung.

In Kap. 6 haben wir die Erfahrungstatsache des empirischen Gesetzes über die Stabilisierung relativer Häufigkeiten benutzt, um die axiomatischen Eigenschaften von Wahrscheinlichkeiten als mathematische Objekte zu motivieren (vgl. die Diskussion nach Definition 6.1). In gleicher Weise wurde in Kap. 12 die Definition des Erwartungswertes einer Zufallsvariablen über die auf lange Sicht erwartete Auszahlung pro Spiel motiviert. Im Gegensatz dazu geht das schwache Gesetz großer Zahlen vom axiomatischen Wahrscheinlichkeitsbegriff aus.

Zentrale Grenzwertsätze gehören zu den schönsten und im Hinblick auf statistische Fragestellungen wichtigsten Resultaten der Wahrscheinlichkeitstheorie. In diesem Kapitel geht es hauptsächlich um den zentralen Grenzwertsatz von de Moivre-Laplace. Nach diesem Satz nähert sich die Verteilung einer Zufallsvariablen mit der Binomialverteilung $$\textrm{Bin}(n,p)$$ Bin ( n , p ) nach Standardisierung beim Grenzübergang n gegen Unendlich immer mehr der Standardnormalverteilung an.

In diesem Kapitel lernen wir mit Punkt-Schätzern und Konfidenzbereichen wichtige Verfahren der schließenden Statistik kennen. Richtschnur wird dabei die Schätzung der unbekannten Erfolgswahrscheinlichkeit bei Bernoulli-Folgen sein. Wichtige Konzepte sind das Maximum-Likelihood-Schätzprinzip sowie die mittlere quadratische Abweichung und die Verzerrung von Schätzern. Konfidenzbereiche sind Schätzverfahren, bei denen zufallsabhängige Intervalle unbekannte Parameter mit einer vorgeschriebenen Mindeswahrscheinlichkeit enthalten.

In diesem Kapitel geht es um das Testen von Hypothesen. Grundbegriffe sind Hypothese und Alternative, nichtrandomisierter Test, Prüfgröße, kritischer Wert, Fehler erster und zweiter Art, Test zum Niveau alpha und Gütefunktion. Ausführlich behandelt werden der ein- und zweiseitige Binomialtest. Weitere Themen sind der p-Wert sowie der unter anderem von Finanzämtern routinemäßig eingesetzte Chi-Quadrat-Test. Das Kapitel thematisiert auch typische Fehler im Umgang mit Tests.

In diesem Kapitel lernen das Konzept eines allgemeinen Wahrscheinlichkeitsraumes und damit das Axiomensystem von Kolmogorov kennen. Damit einher gehen technische Bedingungen wie die Messbarkeit von Zufallsvariablen als Abbildungen auf einem Grundraum. Wichtige Begriffe sind Verteilungsfunktion und Verteilung einer Zufallsvariablen. Grundlegende Klassen von Verteilungen sind diskrete sowie (absolut) stetige Verteilungen. Bei letzteren spielt die Wahrscheinlichkeitsdichte eine zentrale Rolle. Die Cantor-Verteilung zeigt, dass nicht jede stetige Verteilungsfunktion eine Dichte besitzen muss.

In diesem Kapitel lernen wir wichtige stetige Verteilungen und deren Anwendungsfelder kennen. Grundlegende Kenngrößen sind auch hier Erwartungswert, Varianz und Standardabweichung, die völlig analog zur Vorgehensweise bei diskreten Verteilungen eingeführt werden. Schließlich definieren wir das p-Quantil einer Verteilung als theoretisches Gegenstück zum empirischen p-Quantil einer Datenreihe und zeigen, wie man mithilfe der Quantiltransformation Pseudozufallszahlen nach beliebigen Verteilungen erzeugen kann.

Auf Kap. 17 und Kap. 21 aufbauend werden im Folgenden gemeinsame Verteilungen mehrerer Zufallsvariablen eingeführt. Zentrale Begriffe sind gemeinsame und marginale Dichte, Unabhängigkeit, Faltungsformel sowie Kovarianz und Korrelation. Der Einfachheit halber behandeln wir zunächst den Fall zweier Zufallsvariablen.

Wir greifen jetzt die in Kap. 29 und Kap. 30 behandelten Fragestellungen wieder auf und betrachten Schätz- und Testverfahren, bei denen die zu analysierenden Daten als Realisierungen stetiger Zufallsvariablen angenommen werden. Grundlegende Begriffsbildungen wie Konfidenzbereich, Test, Fehler erster und zweiter Art, Signifikanzniveau und Gütefunktion werden aus Kap. 29 und Kap. 30 als bekannt vorausgesetzt. Behandelt werden sowohl nichtparametrische Verfahren wie der Vorzeichentest, Konfidenzbereiche für den Median und der Wilcoxon-Rangsummentest als auch klassische Verfahren wie der Gauß- und der t-Test, bei denen eine Normalverteilung zugrundegelegt wird.