Einführung

Eine der Hauptaufgaben der Informationstheorie ist die Definition des Begriffes Information und ihre quantitative Bewertung. Die Bewertung von Informationen kann nach verschiedenen Gesichtspunkten erfolgen, man unterscheidet zwischen syntaktischen, semantischen und pragmatischen Aspekten. Bei der Syntax handelt es sich im weitesten Sinne um die grammatikalischen Regeln einer Sprache. Bei einem geschriebenen Wort z.B. um die zulässigen Anordnungen von Buchstaben, die Häufigkeit des Auftretens bestimmter Buchstabenkombinationen usw..