3. Die Entropie

In diesem Kapitel betrachten wir Zufallsexperimente, also Experimente, von denen man zwar einerseits genau weiß, welche Ergebnisse möglich sind, man andererseits bei der Durchführung des Experiments ein Ergebnis im Allgemeinen nicht exakt, sondern nur mit einer bestimmten Wahrscheinlichkeit vorhersagen kann. Im letzten Abschnitt wurde ein solches Experiment beschrieben, indem man in einem deutschen Text an einer bestimmten Stelle untersucht, welches Zeichen dort steht. Dabei haben wir ein Alphabet von 30 verschiedenen Zeichen zugrunde gelegt; für dieses Experiment standen somit 30 verschiedene Ergebnisse und die entsprechenden Wahrscheinlichkeiten zur Verfügung. An diesem Beispiel erkennt man, dass der Begriff Experiment sehr weit gefasst und nicht auf naturwissenschaftliche Experimente beschränkt ist. Auch der Empfang einer Nachricht wird in diesem Zusammenhang als Experiment betrachtet, wobei das Ergebnis des Experiments die Nachricht selbst ist. Das Besondere an den Zufallsexperimenten dieses Kapitels ist nun, dass die nichtleere Menge der möglichen Ergebnisse, die stets mit Ω bezeichnet wird, nur endlich viele oder abzählbar unendlich viele Elemente enthalten darf. Es gibt also eine Teilmenge \(N\subseteq\mathbb{N}\) derart, dass eine Bijektion \(N\to\Omega\) existiert. Ist nun für jedes \(\omega\in\Omega\) die Wahrscheinlichkeit \(\mathbb{P}(\{\omega\})\) dafür bekannt, dass wir als Ergebnis des Zufallsexperiments ω erhalten, so können wir jeder Teilmenge \(A\subseteq\Omega\) von Ω durch eine Wahrscheinlichkeit dafür zuordnen, dass sich das Ergebnis des Zufallsexperiments in der Menge befindet.