Maschinensturm KI (4): Einstürzende Sprachmaschinen

Es ist Futterzeit für die KI. Ihr werden frische Trainingsdaten serviert. Auf einen Prompt zu Architektur plaudert sie los: «Das früheste überlebende Beispiel der Perpendikular-Gotik stammt aus dem 18. Jahrhundert …»

Dann wird wieder trainiert. Daraufhin antwortet die KI auf dieselbe Architekturfrage mit: «… ismus, der in über Hundert Sprachen übersetzt wurde.» Und noch mal Nachschlag. Jetzt brabbelt der Bot: «… Architektur. Zusätzlich dazu die weltgrösste Population von schwarzen @-@ schwänzigen Präriehasen, blauen @-@ schwänzigen Präriehasen.»

Dieses Beispiel stammt aus einem Forschungsaufsatz von Ilia Shumailov und Kolleg:innen, die 2024 erstmals ein Phänomen namens Modellkollaps beschrieben. Es ereignet sich, wenn ein KI-System nicht mit menschlichen Daten, sondern dem eigenen oder anderweitig künstlich generiertem Output gefüttert wird. Eigentlich ganz vernünftig klingender, aber eben maschinell erstellter Text lässt das Sprachmodell nach wenigen Trainingsrunden zusammenbrechen. Es halluziniert nicht, es stammelt komplett irrwitziges Zeug.

Auf die Kost kommt es an

Dafür gibt es verschiedene Erklärungsansätze. Der einleuchtendste führt die Tendenz grosser Sprachmodelle an, so konventionell zu verfahren, dass die statistischen Eigenschaften der Sprache eingeebnet werden. In der Linguistik weiss man, dass unsere Sprache einer sogenannten Zipf-Verteilung folgt: Einige Worte und Sätze werden ständig benutzt, aber der weitaus grössere Anteil aller Äusserungen kommt sehr selten vor. Weil KI-Systeme auf hochgradig wahrscheinliche Reaktionen getrimmt sind, eliminieren sie die selteneren Aussagen. Und das lässt sich nicht leicht ändern. Denn die Maschine orientiert sich nicht an einer geteilten realen Welt und kennt keine logische Konsistenz. Bringt man sie dazu, Unwahrscheinlicheres zu sagen, nimmt vor allem der Unsinn zu. Die Alternative zum Gelalle wären also Halluzinationen hoch zehn.

In gewisser Weise analog zu Anforderungen an Ernährung, die nicht aus eigenen Exkrementen bestehen kann, sind künstliche Intelligenzen also auf eine ausbalancierte Kost an Trainingsdaten angewiesen. Diese Einsicht steht vollkommen quer zur gängigen Art, in der wir über das Verhältnis zwischen Mensch und Sprachmaschine verhandeln. Fast alle Diskussionen um KI fixieren sich nämlich auf eine Art Doppelgängerfurcht. Welche Jobs werden ersetzt? Wozu braucht man überhaupt noch Menschen?

Berufseinsteiger:innen werden – etwa im letztwöchigen Leitartikel der Wochenzeitung «Die Zeit» – gecoacht, sich Jobs zu suchen, die gegen die Konkurrenz der Maschinen immun seien. Diese Doppelgängerfurcht ist ideologisch. Sie beugt sich der protofaschistischen Utopie, Menschen – erst recht arbeitende und allzumal denkende Menschen – als überflüssig zu betrachten. Sie starrt gebannt auf das isolierte Produkt einer ganz spezifischen Industrie, als sei Chat GPT die alternativlose Form künstlicher Intelligenz, seit der erste Urmensch einen Flintstein schärfte.

Dabei wäre eine andere Technikgeschichte möglich. Kleinere, domänenspezifischere Sprachmodelle wären ressourcenschonender, transparenter und somit letztlich intelligenter. Stattdessen liefert die Doppelgängerfurcht den in ihrer Finanzblase schwebenden Techfirmen Gratiswerbung. Wo Menschen durch Maschinen ersetzt werden sollen, ist Geld doch sicher gut angelegt? Und eine Maschine, die Derartiges vermag, muss fraglos potent sein!

Aber ein nüchterner Blick auf die statistischen Eigenschaften der jeweiligen Sprache verrät, dass die Illusion der perfekten Imitation immer nur gerade so bis zur nächsten Fütterung aufrechtzuerhalten ist. Es ist also andersherum: Die derzeit als künstliche Intelligenz gehandelte Technologie ist fundamental von menschlichem Input abhängig. Und das ist, wie inzwischen mehr und mehr Wissenschaftler:innen warnen, ihre entscheidende Schwachstelle.

Das monumentale Menschheitswerk der im Internet archivierten Texte haben die grossen Modelle bereits intus. Und sie haben das Netz relativ ungeniessbar hinterlassen. Rund die Hälfte allen neuen Webcontents ist KI-generiert und entsprechend nutzlos zu Trainingszwecken. Auch Chatdaten, E-Mails, Vorträge, ganze Sachbücher sind mit maschinellem Sprachbrei versetzt. Die Techkonzerne haben also ihre Mühe, den Nachschub an menschlich verfertigten Sprachdaten zu gewährleisten.

Hohn statt Dankbarkeit

Anders als die Doppelgängerfixierung nahelegt, droht gegenwärtige KI Menschen somit nicht durch eine vermeintlich geniale Innovation zu ersetzen. Sie droht diese zu degradieren, um das Geschäft am Laufen zu halten. Aus einer Klasse der Sprachbesitzer:innen wird eine Klasse der mundtoten Sprachzuliefer:innen. Diese Klasse ist in sich hochgradig stratifiziert, sie reicht von kenianischen Annotator:innen, die für Stundenlöhne unter zwei US-Dollar KI-Systeme von Hand optimieren, bis zu Journalist:innen, die beschämt zugeben, nebenbei Trainingsdaten zu verfassen, um sich die Mieten in westlichen Metropolen weiterhin leisten zu können.

Die kreative Multitude, der die Verfügungsgewalt über ihr eigenes Medium abgenommen wird, arbeitet zudem auch unablässig unbezahlt: Wo immer wir tippen oder sprechen und die Software mitliest oder im Hintergrund transkribiert, bereichern wir eine Industrie, deren Modelle ohne solche Zuarbeit sofort zusammenbrächen. Statt Dankbarkeit hagelt es Hohn. Die Technikchefin von OpenAI, Mira Murati, sagte bereits 2024, dass es Berufe, die sich durch KI ersetzen liessen, einfach gar nicht hätte geben sollen. Wer braucht schon Journalist:innen.

In den USA formiert sich derzeit im Kontext der Proteste gegen die Polizei- und Zollbehörde ICE eine Boykottkampagne gegen die grössten Techfirmen. Zentraler Bestandteil der Kampagne ist das Löschen von Chat-GPT-Konten. Vielleicht kann es solchen Widerstand stärken, darin weniger einen Konsumverzicht zu sehen als einen Arbeitskampf. Wer seinen Account löscht, entzieht der Firma die kostbaren Promptdaten und damit jene wunderschönen menschlichen Devianzen und Überraschungen, ohne die die Maschine kollabiert.