Akademik

Informationstheorie,

 

von dem amerikanischen Mathematiker C. E. Shannon 1948 begründete mathematische Theorie der Übertragung von Nachrichten. Erstes Ziel war es, viel Information unter Verwendung von wenigen Zeichen zu übertragen. Später untersuchte man den Informationsgehalt von Nachrichten und die Möglichkeit, Informationen fehlerfrei weiterzuleiten.

 

In der Informationspsychologie werden die Erkenntnisse der Informationstheorie auf die Erforschung psychischer Vorgänge und zur Analyse von verschiedenen Leistungen des Gehirns, der Sinne und der Nerven sowie von Vorgängen der Informationsübertragung (Sprache, Bild) angewendet. So stellt der menschliche Erkenntnisprozess aus der Sicht der Informationstheorie beziehungsweise der Kybernetik eine spezielle Form der Informationsverarbeitung innerhalb eines hochkomplizierten Systems dar. Bei diesem System fungieren die menschlichen Rezeptoren (Sinnesorgane) als Eingang (Input), die Effektoren (z. B. beim Sprechen) als Ausgang (Output).

 

Die Informationsmenge, die von den menschlichen Rezeptoren aus der Umwelt aufgenommen werden kann (etwa das Gesamtstadtbild von Mannheim), liegt in der Größenordnung von 10¹⁰ Bits pro Sekunde. Bemerkenswerterweise verarbeitet der Mensch jedoch in der Regel höchstens eine Informationsmenge von 25 Bits pro Sekunde. Die Informationsmenge wird also während des menschlichen Erkennungsprozesses einschneidend reduziert. Insbesondere werden die für die Beherrschung der menschlichen Umwelt unwesentlichen Informationen »herausgefiltert«.

Informationstheorie,

 

die von C. Shannon an den Bell Laboratories 1948 begründete mathematische Theorie, die sich mit der strukturellen und quantitativen Erfassung und mit den Gesetzmäßigkeiten der Übermittlung und Verarbeitung von Nachrichten und den in ihnen enthaltenen Informationen befasst. Sie macht jedoch keine Aussagen zum Sinngehalt. Das Grundmodell jeder Informationsübertragung ist in der Informationstheorie die shannonsche Informationskette, die aus einer Nachrichtenquelle (Sender), einem Nachrichtenkanal und einer Nachrichtensenke (Empfänger) besteht. Die zu übermittelnde Information wird vom Sender kodiert, vom Empfänger dekodiert. Die Informationstheorie verwendet zur Untersuchung von Nachrichten und deren Übertragung vorwiegend Methoden aus der Wahrscheinlichkeitsrechnung und der mathematischen Statistik. Die bei der Nachrichtenübertragung im Kanal verloren gehende Information wird als Äquivokation, Störungen werden allgemein als Rauschen bezeichnet.

 

Der Informationsgehalt einer Nachricht ist ein spezielles Maß, das der Zeichenfolge der Nachricht zugeordnet werden kann. Er hängt nur von den Wahrscheinlichkeiten ab, mit denen die einzelnen Zeichen auftreten. Häufigere, wahrscheinlichere Zeichenfolgen haben einen geringeren Informationsgehalt als seltenere, unwahrscheinlichere. Mathematisch ist der Informationsgehalt eines einzelnen Zeichens umgekehrt proportional zum Logarithmus (zur Basis 2) der Wahrscheinlichkeit seines Auftretens, der Informationsgehalt einer Nachricht ist die Summe der Informationsgehalte der einzelnen Zeichen. Den Informationsgehalt einer Nachricht nennt man auch Entropie, da Analogien zur Entropie eines thermodynamischen Systems in der Physik bestehen (dort ist diese Größe ein Maß für die Ordnung eines abgeschlossenen thermodynamischen Systems).

 

Die Einheit des Informationsgehalts heißt bit (nicht zu verwechseln mit Bit). Die Anzahl bit eines Zeichens innerhalb eines Zeichenvorrats lässt sich als die Anzahl optimal gewählter Ja/nein-Entscheidungen deuten, die man braucht, um dieses Zeichen sicher zu ermitteln. Die Redundanz ist ein Maß für den Anteil einer Nachricht, der keine Informationen enthält; sie wird ebenfalls in bit angegeben. Redundanz einer Nachricht sorgt dafür, dass diese auch dann noch verständlich ist, wenn bei der Übertragung Störungen auftreten (z. B. Rauschen). Die Redundanz einer Nachricht wird in der Regel absichtlich vergrößert, um die Störanfälligkeit zu verringern, zum Beispiel durch Wiederholung von Zeichenfolgen oder Einschieben von Prüfzeichen (Prüfbit).

 

Beispiel: Der Informationsgehalt eines der 30 Zeichen der deutschen Schriftsprache (Buchstaben plus Zwischenraum) beträgt unter der Annahme, dass alle Buchstaben gleich wahrscheinlich auftreten log₂30 = 4,9 bit. Man benötigt im Durchschnitt also knapp fünf Ja/nein-Entscheidungen zur Ermittlung eines Buchstabens. Berücksichtigt man die Wahrscheinlichkeit der Buchstaben und Buchstabenfolgen, erhält man einen Informationsgehalt von nur noch 1,6 bit pro Zeichen. Die Differenz von 3,3 zwischen beiden Werten ist die Redundanz. Sie ist so groß, dass ein Text auch dann noch lesbar ist, wenn jeder zweite Buchstabe fehlt.