7. Die Entropie von Partitionen

Betrachtet man einen diskreten Wahrscheinlichkeitsraum \((\Omega,\mathcal{P}(\Omega),\mathbb{P})\), so wurden für das Wahrscheinlichkeitsmaß \(\mathbb{P}\) die folgenden Eigenschaften gefordert:Eine nichtleere Menge Ω heißt überabzählbar , falls es keine surjektive Abbildung \(\mathbb{N}\to\Omega\) gibt (in Zeichen: \(|\Omega|> |\mathbb{N}|\)). Es wäre nun naheliegend, für ein Wahrscheinlichkeitsmaß \(\mathbb{P}\) die Eigenschaften (P1)–(P3) auch dann zu fordern, wenn es überabzählbar viele Ergebnisse in Ω gibt. Leider zeigt sich aber, dass es für überabzählbare Ω keine für die Praxis brauchbaren Abbildungen \(\mathbb{P}\) dieser Art gibt (siehe dazu etwa Wagon85); die Überabzählbarkeit von Ω schränkt die Möglichkeiten, ein \(\mathbb{P}\) mit den Eigenschaften (P1)–(P3) finden zu können, extrem ein. Da man einerseits auf Wahrscheinlichkeitsräume mit überabzählbarer Ergebnismenge nicht verzichten kann, andererseits die durch (P1)–(P3) angegebenen Eigenschaften prinzipiell unverzichtbar sind, ist man im Rahmen der Maßtheorie dazu übergegangen, die Definitionsmenge von \(\mathbb{P}\) (im Folgenden mit \(\mathcal{D}\) (\(\subseteq\mathcal{P}(\Omega)\)) bezeichnet) einzuschränken (also nicht mehr die Potenzmenge von Ω zu fordern), um somit die Möglichkeiten für die Wahl von zu erweitern; ansonsten sollen die Eigenschaften (P1)–(P3) aber für anstelle von gelten.