Informationstheorie und Codierung

Eine der Hauptaufgaben der Informationstheorie ist die Definition des Begriffes Information und ihre quantitative Bewertung. Die Bewertung von Informationen kann nach verschiedenen Gesichtspunkten erfolgen, man unterscheidet zwischen syntaktischen, semantischen und pragmatischen Aspekten. Bei der Syntax handelt es sich im weitesten Sinne um die grammatikalischen Regeln einer Sprache. Bei einem geschriebenen Wort z.B. um die zulässigen Anordnungen von Buchstaben, die Häufigkeit des Auftretens bestimmter Buchstabenkombinationen usw..

Die von einer Informationsquelle gesendete Nachricht soll aus einer Folge von Zeichen aus einem Alphabet bestehen. Bei den Zeichen kann es sich um Buchstaben, Zahlen oder auch um beliebige andere unterscheidbare Symbole handeln.

Ein diskreter Übertragungskanal überträgt diskrete Nachrichten von einer Nachrichtenquelle zu einer Nachrichtensenke. Bild 3.1 zeigt ein (vereinfachtes) Schema einer Nachrichtenübertragung. In dem Bild ist zusätzlich ein fiktiver Beobachter angedeutet, für den sowohl die Quelle als auch die Senke Informationsquellen bedeuten.

Eine diskrete Nachrichtenquelle verfügt über einen Zeichenvorrat mit einer endlichen Anzahl von Zeichen. Die diskrete Quelle wählt zu diskreten Zeitpunkten Zeichen aus ihrem Alphabet aus. Im Gegensatz dazu wird die Nachricht einer kontinuierlichen Informationsquelle durch eine (zufällige) zeit- und wertekontinuierliche Funktion repräsentiert. Ein Beispiel hierzu ist der Verlauf eines Sprachsignales (z.B. die Ausgangsspannung eines Mikrofons), wie im oberen Teil von Bild 4.1 skizziert.

Unter dem Begriff Quellencodierung werden i.a. zwei unterschiedliche Maßnahmen verstanden, nämlich die Irrelevanz- und die Redundanzreduktion.

Unsere Umgangssprache hat (wie alle Nationalsprachen) die Eigenschaft, daß längst nicht alle möglichen Buchstabenkombinationen in ihr vorkommen. Dies hat den Vorteil, daß (Schreib-) Fehler häufig erkannt werden und sofort ohne Rückfrage korrigiert werden können, Diesem Vorteil steht der Nachteil gegenüber, daß z.B. zur (unmittelbaren) Speicherung von Text viel mehr Speicherplatz zur Verfügung gestellt werden muß, als dies vom Informationsgehalt her erforderlich wäre. So entfällt auf einen Buchstaben in der deutschen Sprache ein mittlerer Informationsgehalt von weniger als 2 bit (siehe Abschnitt 2.4.4), zur unmittelbaren Codierung einzelner Buchstaben sind aber 5 - 6 bit erforderlich. Im Abschnitt 5 wurde gezeigt, auf welche Weise in solchen Fällen eine Codierung durchgeführt werden kann, die zu einem weitgehend redundanzfreien Code führt (Quellencodierung).