Künstliche Intelligenz: «Der Hype war schon immer der Modus Operandi der KI-Forschung»

WOZ: Emily M. Bender, Alex Hanna, kennen Sie das Paper «AI 2027», das seit einer Weile durch die Medien geistert? Es prognostiziert, dass die Umwälzungen infolge künstlicher Intelligenz bald schon die industrielle Revolution übertreffen werden.

Emily M. Bender: Emily M. Bender: Es handelt sich um eine Website, nicht um ein Paper. Sie sieht wissenschaftlich aus, es handelt sich aber um eine spekulative Fiktion. Diese wird mit vielen Einzelelementen präsentiert, die man aufklappen kann, um Diagramme und Ähnliches zu sehen – aber was man da sieht, ist frei erfunden.

WOZ: Könnten Sie das ausführen? Es sind ja nicht nur obskure Zirkel im Internet, in denen das für Aufsehen sorgt.

Alex Hanna: «AI 2027» wurde von Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland und Romeo Dean verfasst. Sie gehören zum «rationalist movement», einer in der US-Techbranche verbreiteten Denkrichtung, die die Nutzung von Technologien wie KI zum Wohl der Menschheit fördern will. Das sind keine Wissenschaftler, deren Berechnungen auf empirischen Daten basieren. Die Autoren benutzen zwar Begriffe aus der Bayesschen Statistik. Diese beinhaltet aber auch eine Methodologie, an die man sich halten muss. Hier wird im Gewand einer statistikähnlichen Sprache Dingen, die in der Zukunft geschehen könnten, irgendwelche Wahrscheinlichkeit zugewiesen.

WOZ: Methodisch taugt das alles nichts?

Hanna: Nein – allein schon der Schwellenwert für die Rechenleistung, ab dem man es dann angeblich mit einem Bewusstsein zu tun haben soll, wurde völlig willkürlich festgelegt. Und je weiter man die Site durchgeht, desto häufiger stösst man auf blosse Annahmen. Es gibt keinerlei konkrete Belege dafür, dass die KI-Forschung automatisiert werden könnte. Schon was das automatisierte Programmieren angeht, lässt sich derzeit noch nicht sagen, inwieweit grosse Sprachmodelle (LLMs) die Produktivität menschlicher Entwickler:innen steigern werden: Einige Paper legen das nahe, andere bestreiten es. Eine vielbeachtete Studie eines Forschungsinstituts namens METR etwa kam zum Ergebnis, dass Programmierer:innen zwar glaubten, mithilfe von LLMs produktiver zu sein, tatsächlich aber mehr Zeit benötigten, wenn sie auf diese zurückgriffen.

Bender: Überhaupt ist es ein Irrglauben, immer grössere Texterzeugungssysteme würden irgendwann ein Bewusstsein erlangen und den Fortschritt aktiv beschleunigen. Letzteres zeugt von einem falschen Verständnis davon, was Wissenschaft ist. Man glaubt hier, diese würde voranschreiten, indem wissenschaftliche Artefakte in Form von Papers produziert werden – und nicht etwa durch Austausch innerhalb der Gemeinschaft von Wissenschaftler:innen. Daher rührt die Idee, dass die KI-Unternehmen zunächst mit menschlichen Mitarbeiter:innen ihre Maschinen trainieren, die menschlichen Forscher:innen dann aber überflüssig werden und die Maschinen übernehmen. So funktioniert Wissenschaft nicht. «AI 2027» erscheint mir wie ein schlecht gemachtes Stück Fanfiction.

WOZ: Inwiefern denn das?

Bender: Bei Fanfiction greifen Autor:innen auf das Worldbuilding zurück, das andere zuvor geleistet haben: Die Welt wie auch die Figuren existieren schon – und jetzt erzählt man damit eine eigene Geschichte. Fanfiction kann grossartig sein. «AI 2027» jedoch wirkt wie schlechte Fanfiction, weil Schlüsselelemente davon schon in der Erzählung zu finden sind, die die genannten Rationalisten spinnen. Viel davon geht auf den schwedischen Transhumanisten Nick Bostrom zurück. So wird hier etwas als Prognose präsentiert, bei dem es sich faktisch um die Nacherzählung einer alten Geschichte handelt.

Hanna: Wenn man diesen Gedanken weiterspinnt, könnte man sagen, dass es sich hier um eine Art Fancommunity von Leuten handelt, die Denkrichtungen wie dem «longtermism» nahestehen, der sich dem langfristigen Wohl der Menschheit verschrieben zu haben glaubt, oder eben dem «rationalist movement». Ungewöhnlich ist nur, dass hier die Grenzen der Fancommunity gesprengt wurden, insofern diese mit der Website etwas hervorgebracht hat, das plötzlich auch ausserhalb wahrgenommen wird. Wobei das hier vollauf beabsichtigt war. Und nun glauben auch politische Entscheidungsträger:innen, dass bald überall automatisierte Agenten anzutreffen sein werden. Dabei sind das vollkommen illusorische Szenarien.

WOZ: In Ihrem Buch problematisieren Sie, dass nicht nur Wissenschaft in der KI-Diskussion falsch, weil eben nicht als gesellschaftliche Praxis begriffen wird. Hinsichtlich der Kunst gelte Ähnliches.

Bender: Bei Wissenschaft, Kunst oder auch im Journalismus geht es um Kreativität, aber man könnte auch sagen, dass es sich bei ihnen um gesellschaftliche Unterfangen handelt. Ein gesellschaftlicher Aspekt von Kunst ist, dass es bei ihr darum geht, Erfahrungen zu vermitteln. Zugleich beziehen sich Künstler:innen auf die Arbeiten anderer, auf denen sie aufbauen. Es ist ein Hohn, wenn diejenigen, die die Arbeit von Künstler:innen stehlen, um Bilderstellungsmaschinen zu entwickeln, behaupten: «Meine Maschine kann dasselbe wie die!» Dazu kommt das Problem einer anthropomorphisierenden Sprache. «Machine learning» ist nicht Lernen im eigentlichen Sinne: Der Algorithmus tritt in keine Beziehung zu den Leuten, mit deren Kunst er gefüttert wird. Dies dann als Lernprozess zu bezeichnen und zu unterstellen, die Maschine tue dasselbe wie ein:e Künstler:in, entmenschlicht Letztere:n.

Hanna: Wir beziehen uns auf die Soziologin Jennifer Lena, die herausgearbeitet hat, dass künstlerische Tätigkeit keine individuelle Unternehmung ist, sondern es bei ihr immer auch um Referenzen zu Arbeiten anderer geht. Dabei gibt es stets Traditionslinien und Lehrverhältnisse. Manche Künstler:innen machen solche Referenzen, indem sie andere zitieren. Selbst wenn man etwas kritisiert, zeigt man eine gewisse Form von Respekt. Wenn man nun aber mit Chat GPT Bilder im Ghibli-Stil anfertigen lässt, dann zeigt das keinerlei Respekt gegenüber Hayao Miyazaki, dem Gründer des Studio Ghibli. Der ist auch weit davon entfernt, das so zu empfinden.

WOZ: Sie schreiben, dass es schon seit Beginn der KI-Forschung einen Hype um diese gegeben habe. Wie war das damals?

Hanna: Der Begriff «künstliche Intelligenz» wurde im Sommer 1956 in einem Workshop am Dartmouth College im US-Bundesstaat New Hampshire geprägt. Die Informatiker John McCarthy und Marvin Minsky hatten Forscher eingeladen, um sich über Technologien auszutauschen, die man unter dem Begriff «thinking machines» gruppierte und die sich um Automatisierung etwa in der Programmierung drehten. McCarthy schlug vor, von «künstlicher Intelligenz» zu sprechen, um so die Teilnehmer unter dem Dach einer gemeinsamen Begrifflichkeit zu versammeln. Zugleich wollte er sich damit von Norbert Wiener abgrenzen, der im Feld der Kybernetik forschte, die sich auf Steuerungssysteme konzentrierte. McCarthy hob also gerade den Aspekt des «Denkens» hervor. Anschliessend schrieb Minsky ein Paper, demzufolge alles, was sich im Gehirn vollzieht, mit mechanischen Mitteln reproduzierbar sei. Das zog viel Aufmerksamkeit auf sich, auch vonseiten des militärisch-industriellen Komplexes. Es entstand eine Art Wettlaufmentalität: Man meinte, in diesem Feld unbedingt besser als die Sowjets sein zu müssen – ähnlich wie das heute im Wettlauf mit China ist. Ausserdem kümmerten sich schon Leute wie Minsky nicht um eine angemessene Zitierpraxis. Stattdessen war der Hype der Modus Operandi.

WOZ: Sie betonen im Buch auch die Bedeutung von Joseph Weizenbaum. Wer war das?

Bender: Weizenbaum war einer der Gründerväter der Computerlinguistik. Er schrieb ein Programm, das landläufig unter dem Namen «Eliza» bekannt ist, wobei Eliza nur eine Variante dieses Programms war. Es war ein Gesprächssimulator, der so eingerichtet ist, dass er grammatikalisch korrekte Sätze ausgibt, die sich für die Person, die das Programm bedient, relevant anfühlen. Anders als Chat GPT heute basiert Eliza nicht auf allzu grossen Datensätzen, sondern folgt ein paar Regeln. Wenn man etwas über ein Familienmitglied eintippt, dann triggert das einen Satz wie: «Oh, erzähl mir mehr von deiner Mutter.» Eliza wurde darauf ausgelegt, die Arbeitsweise eines Psychotherapeuten nachzuahmen – einfach weil eine therapeutische Situation praktisch für Demonstrationszwecke war. Die Software benötigt dabei nämlich keinerlei Weltwissen, um Gespräche zu führen, weil alles auf Sätze hinausläuft wie: «Es tut mir leid, dass Sie sich so fühlen. Erzählen Sie mir mehr.» Später hat Weizenbaum einige wichtige Arbeiten verfasst, weil ihn die Resonanz zu Eliza schockierte.

WOZ: Wie war die denn?

Bender: Es gibt eine Anekdote über seine Sekretärin, deren Identität leider unbekannt ist. Die Sekretärin hat Weizenbaum einmal des Raumes verwiesen, als sie mit dem System interagierte, weil sie nicht wollte, dass er ein privates Gespräch mithörte. Weizenbaum zeigte den Leuten, die mit dem System interagiert hatten, dessen Code: Er dachte, wenn sie sehen, wie es funktioniert, verschwinde die Illusion, dass man es wirklich mit einer Person zu tun habe. Aber das war nicht der Fall. Weizenbaum wurde ein scharfer Kritiker der KI-Forschung, aber auch der Ziele, die man allgemein mit Automatisierung verfolgt. Leider blieben seine Warnungen weitgehend ungehört.

WOZ: Tatsächlich fliessen unfassbare Summen in die KI-Entwicklung. Bekommen Sie da nicht Zweifel, dass an dem, was Sie als «Hype» bezeichnen, doch irgendetwas dran sein muss?

Bender: Nein, ich bekomme da keine Zweifel. Es gibt den Mythos, dass Menschen mit viel Geld deswegen über viel Geld verfügen, weil sie besonders clever sind. Das sind sie aber nicht. Diese Leute verstehen diese Technologie nicht besser als irgendwer sonst. Im Gegenteil beobachten wir, dass gerade die, die reihenweise Jobs ersetzen wollen, keinerlei Ahnung von der Arbeit haben, die sie da überflüssig machen wollen.

WOZ: Open-AI-Chef Sam Altman selbst hat neulich davon gesprochen, dass es einen Crash geben könnte, weil die KI-Blase zu gross geworden sei.

Hanna: Altman spielt auf Nummer sicher, weil er weiss, dass das Phänomen stark aufgeblasen wurde. Er sagt aber auch nicht: Investiert bitte weniger! Er fordert bloss mehr Zeit dafür, das Versprochene umzusetzen. Fall es dann zum Crash kommen sollte, wird er sagen: Ich habe euch ja gewarnt! Aber es ist tatsächlich besorgniserregend, was da für Summen fliessen und wie sich die gesamte Ökonomie auf dieses eine Feld konzentriert. Man sollte meinen, man habe Lehren aus früheren Börsenzyklen gezogen. Aber das ist leider nicht so.

WOZ: Implizit suggeriert Altman, dass es sich mit KI ähnlich wie mit dem Internet verhalte, das ja ohne Zweifel enorme Umwälzungen zeitigte, auch wenn es den Dotcom-Crash gab …

Bender: Das klingt nach einem rhetorischen Manöver, um weiter Investitionen einzutreiben – in einer Phase, in der neue Studien bestreiten, dass diese Systeme durchweg die Produktivität verbessern. Das Internet hat sich als nützlich erwiesen, auch wenn es einen Crash gab. Das sagt uns aber nichts über den Nutzen sogenannter künstlicher Intelligenz, einen Begriff, bei dem es sich zudem nicht um ein kohärentes Set an Technologien handelt. Das, was Altman verkaufen will, sind LLMs: Die will er genauso allgegenwärtig sehen, wie es das Internet heute ist. Dieses aber hat Menschen miteinander vernetzt. Bei LLMs dagegen geht es darum, Beziehungen zwischen Menschen zu kappen.

WOZ: Man könnte im Fall des Internets schon argumentieren, dass es manches verschlechtert habe, denkt man etwa an ultraprekäre Arbeitsverhältnisse.

Hanna: Es ist sicher nicht so, dass das Internet eine uneingeschränkt gute Sache wäre: Es hat sich in Richtung Plattformisierung entwickelt oder das Outsourcen von Arbeitsprozessen ermöglicht. Viele glauben trotzdem, das Internet sei etwas durch die Bank Positives – oder zumindest, dass es vor den Plattformen eine Art wildes Netz gegeben habe, in dem sich alle organisch miteinander verbunden hätten. Das war nie der Fall, das Internet war immer schon mit Ausgrenzungen verbunden. Der Unterschied zu heute liegt wohl darin, dass man beim Internet früh nützliche Anwendungsbereiche sehen konnte, etwa in Sachen Communitybuilding und der vernetzten Zusammenarbeit. Wenn man sich LLMs anschaut, dann zeichnen sich nicht sehr viele Fälle ab, in denen diese Menschen bei ihren Arbeitsabläufen unbedingt von grosser Hilfe wären oder die Vernetzung von Menschen fördern würden. Man sollte vielmehr darauf schauen, welche Formen der Isolation diese Technologie hervorbringt.

WOZ: Könnten Sie zumindest skizzieren, wie Chatbots überhaupt funktionieren?

Bender: Die Linguistik ist hier hilfreich. Bei ihr handelt es sich um das Studium, wie Sprache funktioniert und wie wir mit ihr arbeiten. Die Computerlinguistik dreht sich wiederum darum, Computer mit natürlicher Sprache arbeiten zu lassen. Was also tun Sprachmodelle? Eine Erkenntnis der Linguistik lautet – und das geht auf Arbeiten Ferdinand de Saussures von vor über hundert Jahren zurück –, dass Sprachen Zeichensysteme sind. Dabei umfasst Sprache sowohl eine Form, also wie ein Wort geschrieben und ausgesprochen wird, als auch Bedeutung: sei es die innerhalb einer Sprachgemeinschaft vereinbarte Bedeutung, sei es das, worauf die sprechende Person mit dem Wort Bezug nimmt. Sprache vereint stets beide Aspekte in sich – Form und Bedeutung.

WOZ: Und bei Sprachmodellen?

Bender: Die modellieren lediglich die Form, also welche Wortschreibweisen an einer bestimmten Stelle auftauchen. Man kann sich das anhand des T9-Systems klarmachen, das früher das Nachrichtenschreiben auf Handys erleichterte. T9 basierte auf einem Unigramm-Sprachmodell. Man nahm dafür eine bestimmte Menge an Trainingsdaten und zerlegte diese in einzelne Wörter, deren Häufigkeit man zählte. Wenn man bis dahin auf seinem alten Tastenhandy ein SMS schreiben wollte, war jede der neun Ziffern mit drei Buchstaben belegt, eine sogar mit vier. Man musste also oft eine Taste mehrfach drücken, um an den gewünschten Buchstaben zu kommen. Mit T9 hingegen genügte es, jede Taste nur einmal anzutippen, weil das Programm ermittelte, welche möglichen Wörter sich aus den gedrückten Tasten ergaben. Dabei wurde aber die Häufigkeit für jedes Wort isoliert ermittelt. Im Englischen benötigten «home» und «good» dieselbe Ziffernfolge, «good» aber war das häufiger gebrauchte Wort. Das hatte zur Folge, dass selbst in einem Kontext, in dem «home» eindeutig die logische Wahl gewesen wäre – etwa bei «I will see you at …» –, das T9-Sprachmodell als Erstes «good» vorschlug. Man musste manuell den nächsten Vorschlag auswählen.

WOZ: Wie wurde das dann weiterentwickelt?

Bender: Für den nächsten Entwicklungsschritt griff man auf das Bigramm-Modell zurück. Man ermittelte, wie wahrscheinlich es ist, dass auf ein Wort dieses oder jenes Wort folgt. So funktioniert im Kern ein Sprachmodell. Für so etwas wie das T9-System ist das sehr nützlich. Es kommt ebenso bei der automatischen Transkription zum Einsatz und allgemein überall dort, wo man Zeichenreihen sortieren möchte. Die grossen Sprachmodelle greifen auf wesentlich umfangreichere Datensätze zurück. Das ist an sich unproblematisch, nur sind sie jetzt so gross, dass wir nicht mehr wissen, was genau darin enthalten ist. Das eigentliche Problem aber ist, dass grosse Sprachmodelle zur Herstellung von synthetischem Text verwendet werden.

WOZ: Warum ist das ein Problem?

Bender: Hier kommt eine zweite Lehre aus der Linguistik ins Spiel: Wenn wir eine Abfolge von Wörtern verstehen, könnte man meinen, dass das deswegen so ist, weil jemand diese Wörter in bestimmter Reihenfolge geäussert hat, um eine Botschaft in diese Worte zu packen, die wir als Empfänger sozusagen wieder auspacken. Unser Sprachverständnis funktioniert aber nicht so. Vielmehr fragen wir uns instinktiv: Was weiss ich über die sprechende Person? Welchen Hintergrund teile ich mit ihr? Was denke ich, dass die sprechende Person über diejenigen zu wissen glaubt, die sie anspricht? Daraus ziehen wir Schlüsse, die wir miteinbeziehen, wenn wir verstehen wollen, was diese Person uns vermitteln wollte, indem sie exakt diese Wörter in dieser Reihenfolge gewählt hat. Wir stellen uns also immer einen Verstand hinter dem Text vor, den wir empfangen – so deuten wir Sprache. Haben wir es dann mit synthetischem Text zu tun, deuten wir diesen instinktiv genauso. Hier aber gibt es gerade keinen Verstand, der für den Text verantwortlich wäre: Das ist das, was hinter dem erwähnten Eliza-Effekt steht.

WOZ: Allerdings ist doch das, was Chatbots ausspucken, deutlich beeindruckender als das T9-System: Man erhält oft einen lexikonartigen Text, schön strukturiert und grafisch aufbereitet.

Hanna: Was Chat GPT ausgibt, mag eindrucksvoll aussehen. Das verdankt sich aber dem, was die Entwickler für ihre Trainingsdaten anderswo entwendet haben. In der Summe ergibt das dann ein beeindruckendes Ergebnis, doch es fehlt jede Transparenz, woher die Daten eigentlich kommen. Man findet zwar Quellenangaben, doch diese sind auch mal falsch oder frei erfunden.

WOZ: Im Buch geht es auch um die «AI booster» und «AI doomer»: Erstere glauben, dass KI uns eine strahlende Zukunft bereiten werde. Letztere warnen vor Maschinen, die sich gegen den Menschen wenden könnten. Wie stehen diese beiden Gruppen zueinander?

Bender: Man kann hier an die anfangs besprochene Website denken, bei der es sich um ein Beispiel für «AI doomerism» handelt. Die Autoren gerieren sich als Gegenpol zu den Boostern. Aber es handelt sich um zwei Seiten derselben Medaille. Die Booster sagen: KI ist unvermeidlicher Fortschritt, der kurz vor gewaltigen Durchbrüchen steht, was all unsere Probleme lösen wird. Die Doomer sagen: KI ist unvermeidlicher Fortschritt, der kurz vor gewaltigen Durchbrüchen steht und uns alle töten wird. Es handelt sich um dieselbe Erzählung, nur mit zwei gegenläufigen Schlusspointen.

Hanna: Gleichzeitig verzerrt das den Blick auf das tatsächliche Spektrum an Handlungsoptionen. Jenseits von Untergangserwartung und Heilsversprechen gibt es sehr unterschiedliche Positionen, die man einnehmen kann: Man kann es etwa einfach ärgerlich finden, dass KI in alles Mögliche eingebaut wird, weil man das schlicht nicht braucht.