Mathematik der Information

Die beiden Begriffe Nachricht und Information sind Bestandteile unserer Umgangssprache, die nicht immer genau auseinandergehalten werden. Im Rahmen der Ingenieurwissenschaften und der Mathematik ist es aber unabdingbar, diese beiden Begriffe scharf zu unterscheiden. Eine Nachricht ist zunächst etwas, das stets von einem Sender ausgeht und in eine spezielle physikalische Form gebracht wird. Diese physikalische Form hängt von der Art und Weise ab, wie die entsprechende Nachricht vom Sender zu den vorgesehenen Empfängern übertragen werden soll. Bei den Indianerstämmen Nordamerikas wurden Nachrichten zum Beispiel durch spezielle Rauchzeichen übertragen. Seit etwa 1817 werden in der Schifffahrt Nachrichten unter anderem durch Flaggensignale ausgetauscht. Die Darstellung einer Nachricht in Abhängigkeit von der vorgesehenen Art der Übertragung spielt in der Kommunikationstechnik somit eine wichtige Rolle.

Im Folgenden suchen wir eine Funktion I definiert auf dem Intervall \([0,1]\), die jeder Wahrscheinlichkeit \(p\in[0,1]\) eine Informationsmenge \(I(p)\) zuordnet; von dieser Funktion I werden gewisse Eigenschaften gefordert.

In diesem Kapitel betrachten wir Zufallsexperimente, also Experimente, von denen man zwar einerseits genau weiß, welche Ergebnisse möglich sind, man andererseits bei der Durchführung des Experiments ein Ergebnis im Allgemeinen nicht exakt, sondern nur mit einer bestimmten Wahrscheinlichkeit vorhersagen kann. Im letzten Abschnitt wurde ein solches Experiment beschrieben, indem man in einem deutschen Text an einer bestimmten Stelle untersucht, welches Zeichen dort steht. Dabei haben wir ein Alphabet von 30 verschiedenen Zeichen zugrunde gelegt; für dieses Experiment standen somit 30 verschiedene Ergebnisse und die entsprechenden Wahrscheinlichkeiten zur Verfügung. An diesem Beispiel erkennt man, dass der Begriff Experiment sehr weit gefasst und nicht auf naturwissenschaftliche Experimente beschränkt ist. Auch der Empfang einer Nachricht wird in diesem Zusammenhang als Experiment betrachtet, wobei das Ergebnis des Experiments die Nachricht selbst ist. Das Besondere an den Zufallsexperimenten dieses Kapitels ist nun, dass die nichtleere Menge der möglichen Ergebnisse, die stets mit Ω bezeichnet wird, nur endlich viele oder abzählbar unendlich viele Elemente enthalten darf. Es gibt also eine Teilmenge \(N\subseteq\mathbb{N}\) derart, dass eine Bijektion \(N\to\Omega\) existiert. Ist nun für jedes \(\omega\in\Omega\) die Wahrscheinlichkeit \(\mathbb{P}(\{\omega\})\) dafür bekannt, dass wir als Ergebnis des Zufallsexperiments ω erhalten, so können wir jeder Teilmenge \(A\subseteq\Omega\) von Ω durch eine Wahrscheinlichkeit dafür zuordnen, dass sich das Ergebnis des Zufallsexperiments in der Menge befindet.

In Theorem 3.6 wurde gezeigt, dass bei einer nichtleeren endlichen Ergebnismenge Ω durch das Wahrscheinlichkeitsmaß auf \({\mathcal{P}}(\Omega)\) mit maximaler Entropie gegeben ist. Nun untersuchen wir die gleiche Fragestellung unter Nebenbedingungen.

Seien \(n\in\mathbb{N}\) und mit so ist \(f_{\mathbb{S}}\) wegen auf \([0,1]^{n}\) stetig und strikt konkav (siehe Theorem 2.1).

Ausgehend von einem diskreten Wahrscheinlichkeitsraum \((\Omega,{\mathcal{P}}(\Omega),\mathbb{P})\) und einer Menge \(B\subseteq\Omega\) mit \(\mathbb{P}(B)> 0\) erhält man durch ein weiteres Wahrscheinlichkeitsmaß auf \({\mathcal{P}}(\Omega)\). Da \(\mathbb{P}^{B}(B)=1\), interpretiert man die Wahrscheinlichkeit \(\mathbb{P}^{B}(A)\) als die Wahrscheinlichkeit des Ereignisses A unter der Bedingung, dass das Ereignis B sicher eintrifft (bedingte Wahrscheinlichkeit). Man hat sozusagen die Menge der möglichen Ergebnisse Ω auf die Menge B reduziert. Gilt nun \(\mathbb{P}^{B}(A)=\mathbb{P}(A)\), so folgt daraus \(\mathbb{P}(A\cap B)=\mathbb{P}(A)\cdot\mathbb{P}(B)\); in diesem Fall wird die Wahrscheinlichkeit für A durch die Reduktion der Menge der Ergebnisse von Ω auf B nicht beeinflusst; man sagt, die Ereignisse A und B seien stochastisch unabhängig. Daher haben wir bei der Einführung der Funktion I zum Messen der Informationsmenge auch gefordert; tritt die „Nachricht“ A mit der Wahrscheinlichkeit p ein, die Nachricht B mit der Wahrscheinlichkeit q und beide Nachrichten mit der Wahrscheinlichkeit pq, so sollen sich die jeweiligen Informationsmengen addieren, falls beide Nachrichten eintreffen (da stochastische Unabhängigkeit vorliegt).

Das mathematische Fundament der Quanteninformationstheorie bilden Hilberträume über dem Körper \(\mathbb{C}\) der komplexen Zahlen.

Betrachtet man einen diskreten Wahrscheinlichkeitsraum \((\Omega,\mathcal{P}(\Omega),\mathbb{P})\), so wurden für das Wahrscheinlichkeitsmaß \(\mathbb{P}\) die folgenden Eigenschaften gefordert:Eine nichtleere Menge Ω heißt überabzählbar , falls es keine surjektive Abbildung \(\mathbb{N}\to\Omega\) gibt (in Zeichen: \(|\Omega|> |\mathbb{N}|\)). Es wäre nun naheliegend, für ein Wahrscheinlichkeitsmaß \(\mathbb{P}\) die Eigenschaften (P1)–(P3) auch dann zu fordern, wenn es überabzählbar viele Ergebnisse in Ω gibt. Leider zeigt sich aber, dass es für überabzählbare Ω keine für die Praxis brauchbaren Abbildungen \(\mathbb{P}\) dieser Art gibt (siehe dazu etwa Wagon85); die Überabzählbarkeit von Ω schränkt die Möglichkeiten, ein \(\mathbb{P}\) mit den Eigenschaften (P1)–(P3) finden zu können, extrem ein. Da man einerseits auf Wahrscheinlichkeitsräume mit überabzählbarer Ergebnismenge nicht verzichten kann, andererseits die durch (P1)–(P3) angegebenen Eigenschaften prinzipiell unverzichtbar sind, ist man im Rahmen der Maßtheorie dazu übergegangen, die Definitionsmenge von \(\mathbb{P}\) (im Folgenden mit \(\mathcal{D}\) (\(\subseteq\mathcal{P}(\Omega)\)) bezeichnet) einzuschränken (also nicht mehr die Potenzmenge von Ω zu fordern), um somit die Möglichkeiten für die Wahl von zu erweitern; ansonsten sollen die Eigenschaften (P1)–(P3) aber für anstelle von gelten.

Ausgehend von einer nichtleeren Menge A, die wir als Zeichenvorrat bezeichnen und die mindestens zwei und höchstens endlich viele Elemente (sogenannte Zeichen) enthalten darf, geht man in der Kommunikationstechnik häufig von einem Sender aus, der zu jedem Zeitpunkt \(t\in\mathbb{Z}\) ein Zeichen \(a\in A\) sendet. Zu jedem festen Zeitpunkt \(t_{0}\in\mathbb{Z}\) hat der Sender somit schon unendlich viele Zeichen gesendet und wird auch nach t ₀ noch unendlich viele Zeichen senden. Diese unrealistische Annahme dient dazu, alle praktisch relevanten Fälle in einem einzigen mathematischen Modell erfassen zu können und nicht für jeden Spezialfall ein eigenes mathematisches Modell entwerfen zu müssen; wir werden darauf zurückkommen.

Wahrscheinlichkeitsmaße auf der Borelschen σ-Algebra \(\mathcal{B}^{n}\) werden häufig durch Dichtefunktionen dargestellt. Für diese Darstellung benötigt man eine Integrationstheorie, die wir nun rekapitulieren (siehe dazu Bau92). Mit \(\bar{\mathbb{R}}:=\mathbb{R}\cup\{-\infty,+\infty\}\) wird eine Erweiterung der Menge aller reellen Zahlen definiert. Die algebraische Struktur von \(\mathbb{R}\) wird folgendermaßen auf \(\bar{\mathbb{R}}\) erweitert: Für alle \(a\in\mathbb{R}\) gilt: Somit ist \(\bar{\mathbb{R}}\) kein Körper. Die Vorzeichen bei \(\pm\infty\) dürfen bei den obigen Formeln nicht kombiniert werden, denn die Ausdrücke „\(+\infty+(-\infty)\)“ und „\(-\infty+(+\infty)\)“ sind nicht definiert. Vorsicht ist bei den Grenzwertsätzen geboten:

Bei der Untersuchung suffizienter Statistiken in Abschn. 5.1 spielten bedingte Wahrscheinlichkeiten eine wichtige Rolle. Die dafür notwendige Voraussetzung \(\mathbb{P}(B)> 0\) war bei den dabei zugrundegelegten diskreten Wahrscheinlichkeitsräumen unkritisch. Um nun die Frage nach suffizienten Statistiken im Rahmen allgemeiner Wahrscheinlichkeitsräume untersuchen zu können, ist eine Verallgemeinerung der bisher betrachteten bedingten Wahrscheinlichkeiten nötig. Ausgehend von einem Wahrscheinlichkeitsraum \((\Omega,\mathcal{S},\mathbb{P})\) betrachten wir dazu eine numerische, (\(\mathbb{P}\)-)integrierbare Zufallsvariable Das Integral wird als Erwartungswert von X bezeichnet. Die Abbildung ist für jede σ-Algebra \(\mathcal{G}\) über Ω \(\mathcal{G}\)-\(\bar{\mathcal{B}}\)-messbar. Somit ist \(\{\emptyset,\Omega\}\) die kleinste aller σ-Algebren \(\mathcal{G}\) über Ω, für die Y \(\mathcal{G}\)-\(\bar{\mathcal{B}}\)-meßbar ist, und es gilt: