5.10.1960 – Alarm bei NORAD: Ein neu installiertes Frühwarnsystem auf Grönland meldet mit 0.01% Irrtumswahrscheinlichkeit einen massiven Angriff sowjetischer Raketen. Zum Glück war Chruschtschow gerade in New York, denn in Wirklichkeit hatten die Programmierer des Systems nur vergessen, dass auch der Mond Radarstrahlen reflektiert.
9.11.1979 – Alarm bei NORAD: Das Frühwarnsystem meldet einen massiven Angriff sowjetischer Raketen, strategische Bomber starten. Glücklicherweise wird rechtzeitig bemerkt, dass die Eingabedaten des Systems gerade von einem Band mit Simulationsdaten kamen.
3.6.1980 – Alarm beim SAC: Sporadische Meldungen über sowjetische Raketen im Anflug. Die B52s lassen in Motoren an. Die Meldungen verschwinden wieder, nach drei Minuten wird der Alarm abgestellt. 6.6. – die Ereignisse wiederholen sich. Schließlich wurde der Grund gefunden: Ein Chip, der Nullen senden sollte, um den Leitungszustand zu prüfen, hatte versagt und schickte zufällige Zahlen.
Natürlich haben die meisten Programme bei weitem nicht die Möglichkeiten, Dinge kaputt zu machen, die die bei NORAD und ähnlichen Einrichtungen laufenden haben. In der Tat spielten bei den großen Industriekatastrophen des späten 20. Jahrhunderts von Bhopal bis Tschernobyl Computer in der Regel (und nach unserem Wissen) eine untergeordnete Rolle – aber dies wird sich ändern.
Auch so sind die Schäden durch Computerfehler bereits beträchtlich. Bereits 1984 – als am 26.7. in den USA der erste bekannte durch einen Industrieroboter verursachte Todesfall eintrat – schätzte man die Zahl der Roboteropfer in Japan auf fünf bis zwanzig.
Ein kleiner Fehler in einem Steuerungsprogramm für ein Bestrahlungsgerät kostete 1986 mindestens zwei Menschen das Leben – in einer selten auftretenden Situation “vergaß” die Steuerung, die Stärke eines Elektronenstrahls zurückzuregeln. Sie merkte das sogar, doch die Fehlermeldungen waren so kryptisch und ähnelten “harmlosen” Fehlermeldungen, die das System permanent ausspuckte, das die OperatorInnen sie ignorierten.
Weniger ernst – aber letztlich auch ein Problem einer nicht ausgegorenen Benutzerschnittstelle – war ein Absturz der Kurse für 10-jährige Französische Staatsanleihen am 23.7.1998: Der Grund war einfach, dass ein Broker in London seine Kaffetasse auf die “Instant Sell”-Taste gestellt hatte und diese 145 Signale abgegeben hatte.
In Flugzeugen gehen die Lichter aus, Autos bleiben einfach so stehen, die Universität weiß nicht mehr, was sie tut: Je mehr Prozesse von Programmen gesteuert werden, desto mehr kleine und große Katastrophen werden von Programmierfehlern ausgelöst. Was immer man programmiert, Fragen wie “Muss das sein?” oder “Was passiert, wenns schief geht?” sollte man stellen.
Mehr Risiken: risks digest.
Nicht nur Denk- oder Programmierfehler machen Computer gefährlich. In der Produktion sorgt wachsende Automatisierung dafür, dass es praktisch nur noch schechtbezahlte Putzkräfte und Security sowie eine Handvoll Ingenieure gibt – im Groben eine Abwertung von Jobs.
Eine geradezu klassische Variante davon sind Scannerkassen – diese wurden nicht etwa eingeführt, um den Job von KassiererInnen leichter zu machen. Teilweise war das Interesse sicher, die Warenhaltung zu erleichtern, indem der Rechner einen besseren Überblick über das Ein und Aus im Lager bekommt, teilweise vielleicht auch, die Fehlerquote zu reduzieren; der primäre Effekt ist aber, dass KassiererInnen austauschbarer und damit auch erpressbarer geworden sind, da Tippgeschwindigkeit und Überblick über die Preise im Laden nicht mehr gefragt sind. Musste man früher Personal wochenlang einarbeiten, muss man jetzt nur noch erklären, wie Barcodes über den Scanner zu ziehen seien. Was die Konsequenzen einer solchen Entwicklung für Jobsicherheit und Lohnniveau sind, muss nicht erst ein aufwändiges Programm berechnen…
Wenn Sprachtechnologie mal funktionieren sollte, wird es eine ähnliche Entwicklung in Büros geben. Dazu kommen Datenschutzfragen. Hörende Computer können flächendeckende Telefonüberwachung machen, weit mehr als das Keyword Spotting, das gegenwärtig schon läuft. Data Mining in der Datenspur, die wir alle hinterlassen – von Stadtbücherei bis Reisebüro – wird viel effektiver werden.
Schließlich: Perfekte Sprachtechnologie setzt vermutlich “bewusste” Maschinen voraus. Darf man so eine Maschine noch abschalten?
main() {printf(&unix["\021%six\012\0"],
(unix)["have"]+"fun"-0x60);}
- David Korn, AT&T Bell Labs