1. Einführung und Grundbegriffe

Die Informationstheorie ist ein Zweig der angewandten Mathematik, Informatik und Ingenierswissenschaften, welcher sich mit der quantitativen Beschreibung von Information befasst. Die klassische Informationstheorie wurde 1948 in einem bahnbrechenden Aufsatz mit dem Titel „A Mathematical Theory of Communication“ von Claude Elwood Shannon begründet. Shannon hat es verstanden, die bis dato ad-hoc und unabhängig behandelten Teilgebiete der Quellencodierung (verlustlose bzw. verlustbehaftete Datenkompression), Kanalcodierung (Zuverlässigkeit durch Fehlererkennung und Fehlerkorrektur) und Kryptologie (Datensicherheit im Sinne von Verschlüsselung, Teilnehmer- und Nachrichtenauthentifizierung) mit den gleichen mathematischen Methoden zu beschreiben. Für jeden dieser drei Bereiche liefert uns die Informationstheorie fundamentale Schranken. Ein tiefes Verständnis dieser Schranken ist für den Ingenieur wichtig, um leistungsfähige Übertragungs- und Datenkompressionsverfahren unter realistischen Randbedingungen wie Aufwand und Verzögerung entwickeln und bewerten zu können. In diesem Lehrbuch werden alle drei Teilgebiete, d. h. Quellencodierung, Kanalcodierung und Kryptographie behandelt. Aktuelle Themen wie Mehrnutzer-Informationstheorie, Netzwerkcodierung und Rate-Distortion-Theorie wurden in der zweiten Auflage erweitert. Das erste Kapitel gibt eine Einführung in die Informationstheorie und vermittelt Grundbegriffe wie Shannons Informationsmaß, Entropie und wechselseitige Information.