Informationstheorie

zuerst von Shannon und Weaver als mathematische Theorie der Kommunikation in geschlossener Form dargestellt. Sie dient zur quantitativen Berechnung der Information, die von einem Zustand oder Ereignis getragen wird. Es ist notwendig, zwischen erzeugter und übertragener Information zu unterscheiden. Tritt in einem System einer von n gleich wahrscheinlichen Zuständen ein, so ist der Wert der Information, die vom eingetretenen Zustand s erzeugt wird, durch die Formel I(s)=log₂(n) bestimmt. Gibt es beispielsweise 8 mögliche gleich wahrscheinliche Zustände, so hat die von s erzeugte Information den Wert 3. Bei unterschiedlichen Wahrscheinlichkeiten erhält der unwahrscheinlichste Zustand den größten Wert. Zur Veranschaulichung kann man sich einen achtseitigen Würfel vorstellen. Der Zustand des Würfels nach einem regulären Wurf erzeugt eine Information mit Wert 3. Die Anwendung der genannten Formel lässt sich durch die Tatsache rechtfertigen, dass die 8 möglichen Zustände dreimal in zwei Gruppen gegliedert werden müssen, bevor man den Endzustand erreicht. Es handelt sich also um 3 Binärentscheidungen. Aus diesem Grund wird die Information in bits berechnet (bit = Abkürzung des eng. binary digit, binäre Zahl). – Wird die von s erzeugte Information auf einen Zustand e übertragen, so gilt bei optimaler Übertragung: I(e)=I(s). Geht hingegen bei der Übertragung Information verloren, so gilt: I(e)Kybernetik.

GSO

LIT:

• C. E. Shannon/W. Weaver: The Mathematical Theory of Communication. Urbana 1949.