1948: Die Einführung des Bits
In einem bahnbrechenden Aufsatz über die Grundlagen der Informationstheorie begründete der US-Mathematiker Claude Elwood Shannon die Informationstheorie und führte den Begriff des Bits in den akademischen Sprachgebrauch ein.
Im Band Nummer 27 des "Bell System Technical Journal" erschien 1948 der Aufsatz "A Mathematical Theory of Communication" des US-Mathematikers Claude Elwood Shannon [*30.4.1916]. Mit diesem Aufsatz begründete Shannon die Informationstheorie. Alle zeitgenössischen technischen Kommunikationsmedien bauen mit auf seinen Erkenntnissen auf.
Zu Beginn des Texts löst Shannon die Bedeutung von Nachrichten von den Problemen ihrer technischen Übertragung ab - um sich dann nur noch Letzteren zu widmen.
Ein Modell technischer Kommunikation
Shannon entwirft ein Modell eines allgemeinen Kommunikationssystems, das sich auf jedes System der technischen Nachrichtenübertragung anwenden lassen soll. Eine Nachrichtenquelle gibt Informationen an einen Sender weiter, der diese so umformt, dass sie über einen Kanal - also ein Medium wie ein Kupferkabel oder ein Frequenzband - verschickt werden können. Auf der "anderen Seite" steht ein Empfänger, der die vom Sender für das Medium zurechtgemachten Informationen dekodiert und an ein Ziel übergibt.
Auch die Maßeinheit für die in einem solchen System übertragene Information gibt Shannon an. In einem digitalen System wäre es das "binary digit", kürzer "bit". "Eine Vorrichtung mit zwei stabilen Positionen, wie ein Relais oder ein Flip-Flop, kann ein bit an Information speichern", so Shannon.
Im Folgenden wird Shannon sein Kommunikationsmodell mit den Mitteln der Mathematik unterfüttern. "Der entscheidende Aspekt ist, dass die tatsächliche Nachricht aus einem Vorrat von möglichen Nachrichten ausgewählt wurde", schreibt Shannon und folgert daraus: "Das System muss so konstruiert werden, dass es für jede mögliche Auswahl funktioniert und nicht nur für diejenige, die tatsächlich getroffen wurde, da diese zum Zeitpunkt der Konstruktion unbekannt ist." Shannon will, dass die Kommunikation glückt, auch unter schwierigen Voraussetzungen, gegen das und mit dem Rauschen im Kanal.
Sprache und Redundanz
Auch die Sprache ist für ihn in diesem Zusammenhang ein Phänomen, das aus dem Chaos, aus der Entropie der Zeichen auftaucht - und darin wieder untergeht. "Die Redundanz einer Sprache hängt mit der Existenz von Kreuzworträtseln zusammen", so Shannon. "Wenn die Redundanz gleich null ist, ergibt jede Folge von Buchstaben einen vernünftigen Text in dieser Sprache, und jede zweidimensionale Anordnung von Buchstaben ergibt ein Kreuzworträtsel."
Als er über die Redundanz schreibt, berührt Shannon auch Fragen der Kunst. "Zwei extreme Beispiele von Redundanz in der englischen Prosa liegen im Fall von Basic English und James Joyces Buch 'Finnegans Wake' vor. Basic English umfasst 850 Wörter, und die Redundanz ist darin sehr hoch. Dies zeigt sich in der Ausweitung, die sich ergibt, wenn ein Textabschnitt aus 'Finnegans Wake' in Basic English übertragen wird. Joyce hingegen erweiterte das Vokabular und erzielte damit angeblich eine Verdichtung des semantischen Gehalts."
Joyces Sprachschöpfungen können also auch aus Sicht des Mathematikers durchaus effizienter sein als das simple Grundvokabular des Basic English, das der britische Linguist und Philosoph Charles Kay Ogden 1930 in seinem gleichnamigen Buch vorgestellt hatte. Vom Basic English wiederum ließ sich auch George Orwell inspirieren, als er für "1984" sein Neusprech schuf, das durch seine Doppeldeutigkeit besonders wenig Redundanz aufweisen dürfte, weil sich die Begriffe erst im Gehirn des aufgeklärten Lesers zu voller Bedeutung dekomprimieren.
Transatlantisches Rauschen
Shannon war aber auch Experte dafür, Nachrichten unleserlich zu machen - zumindest für jene, die sie nichts angehen. Der US-Computerpionier Vannevar Bush, ab 1940 Chef des National Defense Research Committee, das die wissenschaftlichen Ressourcen der USA für den Kampf gegen die Achsenmächte organisierte, holte Shannon zu den Kryptographie-Experten der Signal Intelligence Agency.
Dort arbeitete dieser unter anderem mit dem britischen Mathematiker Alan Turing an der Verschlüsselung der Kommunikation zwischen den Hauptquartieren der USA und Großbritanniens.
Zeitgenosse Norbert Wiener
1930 hatte Vannevar Bush am MIT mit der Arbeit an seinem analogen Computer, dem "Differential Analyzer", begonnen. Sowohl Claude Shannon als auch Norbert Wiener arbeiteten an dieser Maschine.
Wie Wiener befasste sich auch Shannon während des Zweiten Weltkriegs mit Feuerleitsystemen für Flugabwehrkanonen.
In seinem 1948 veröffentlichten Buch "Cybernetics" bezieht sich Wiener mehrmals auf Shannons Arbeiten zur Informationstheorie.
Kryptographie und Sampling
1949 publizierte Shannon seinen Aufsatz "Communication Theory of Secrecy Systems", in dem er seinen Beitrag zur Wissenschaft der Kryptographie leistete. Im gleichen Jahr veröffentlichte er, aufbauend auf Arbeiten des schwedisch-amerikanischen Physikers Harry Nyquist, den Aufsatz "Communication in the Presence of Noise", in dem es um die maximale Kapazität von Kommunikationskanälen ging.
In diesem Text, den er bereits 1940 verfasste, aber im Krieg nicht hatte veröffentlichen können, wies Shannon nach, dass die Datenrate bei einer Übertragung höchstens doppelt so hoch sein kann wie die Bandbreite, die dabei zur Verfügung steht. Das Nyquist-Shannon-Abtasttheorem ist die Grundlage für die Konvertierung analoger in digitale Signale [Sampling].
Schach der Künstlichen Intelligenz
Shannon blieb den Bell Labs bis 1972 verbunden. 1959 erhielt er eine feste Professur am Massachusetts Institute of Technology, wo er bereits seit 1956 lehrte. Um diese Zeit baute Shannon, der immer für clevere Hacks zu haben war, auf Anregung seines MIT-Kollegen und Experten für Künstliche Intelligenz, Marvin Minsky, die "Ultimate Machine".
Dabei handelte es sich um eine simple Schachtel, an deren Seite ein einzelner Schalter angebracht war. Legte Shannon diesen Schalter um, öffnete sich deren Deckel, eine mechanische Hand kam zum Vorschein, griff nach dem Schalter, stellte diesen wieder in die "Aus"-Position, um sich schließlich in die Kiste zurückzuziehen.
Eine Maus namens Theseus
1950 baute Shannon eine elektromechanische Maus, die er auf den Namen Theseus taufte und sie im Rahmen früher Experimente zur Erschaffung Künstlicher Intelligenz durch ein Labyrinth schickte. Theseus gilt als eine der ersten lernfähigen Maschinen, denn sie speicherte ihre im Experiment erworbenen Erfahrungen und konnte diese dazu nutzen, bekannte Labyrinthe schneller zu durchqueren. Im selben Jahr veröffentlichte Shannon ein bahnbrechendes Papier zum Thema Computerschach, einem Sport, dem er sein Leben lang treu bleiben sollte.
Claude Shannon starb am 24. Februar 2001 im Alter von 84 Jahren an der Alzheimer'schen Krankheit. Genau wie seine grundlegenden Leistungen auf dem Gebiet der Informationstheorie laden auch Shannons kleine Maschinchen und scheinbar nebensächlichen Experimente immer wieder zu eigenen Spekulationen ein.
Was nämlich unsere auf Shannons Theorien basierenden Kommunikationssysteme mit lernenden Mäusen zu tun haben, die immer neue Labyrinthe durcheilen müssen, sowie mit einer Maschine, deren einzige Aufgabe es ist, sich selbst auszuschalten, bleibt schließlich dem Urteil des Betrachters überlassen.
Literatur:
Die Zitate aus "A Mathematical Theory of Communication" entstammen zum Teil dem Band "Claude E. Shannon: Ein / Aus. Ausgewählte Schriften zur Kommunikations- und Nachrichtentheorie", hrsg. von Friedrich Kittler, Peter Berz, David Hauptmann, Axel Roch. Berlin 2000.
(futurezone | Günter Hack)