Codierung

Wesentlich bei der Speicherung und Übertragung von Nachrichten ist eine dem Problem angepasste Darstellung der Nachricht. Gegeben seien ein Nachrichtenraum $$A^{*}$$ A ∗ (die Quelle) über einem Alphabet $$A = \left\{ {a_{1} ,\,a_{2} ,\, \ldots ,\,a_{n} } \right\}$$ A = a 1 , a 2 , … , a n und ein Nachrichtenraum $$B^{*}$$ B ∗ (das Ziel) über einem Alphabet $$B = \left\{ {b_{1} ,\,b_{2} ,\, \ldots ,\,b_{m} } \right\}$$ B = b 1 , b 2 , … , b m . Eine umkehrbar eindeutige Abbildung von $$A^{*}$$ A ∗ in $$B^{*}$$ B ∗ (es braucht also nicht die gesamte Menge $$B^{*}$$ B ∗ erfasst zu werden) heißt Codierung $$C$$ C [Ber74, Ham87, Wil99].