Diskriminierung: «Wir sollten Algorithmen nicht mystifizieren»

WOZ: Lajla Fetic, gibt es überhaupt algorithmische Entscheidungssysteme, die gänzlich diskriminierungsfrei sind?
Lajla Fetic: Diskriminierungsfreie Algorithmen sind aus zwei Gründen utopisch. Zum einen erfahren viele von uns auch ohne Algorithmen immer noch Diskriminierung. Die Idee, dass Algorithmen besser als wir Menschen wären, ist naiv. Zum anderen basieren Algorithmen auf Ungleichbehandlung. Sie müssen Daten nach bestimmten Kategorien sortieren, was die Welt simplifiziert und daher immer diskriminierendes Potenzial in sich birgt.

Also sind Algorithmen per se schlecht?
Die Frage zeigt, dass das immer noch vorherrschende Bild von den angeblich wertneutralen Algorithmen zu bröckeln beginnt. Algorithmen spiegeln immer unsere gesellschaftlichen Wertvorstellungen und Vorurteile und reproduzieren diese. Trotzdem würde ich nicht sagen, dass auf Algorithmen beruhende oder automatisierte Entscheidungsfindung (ADM) per se schlecht ist. Entscheidend ist, wie solche ADM-Systeme entwickelt und eingesetzt werden. Das bestimmt, ob das Gemeinwohl gestärkt oder gefährdet wird.

Aber eine Diskriminierung lässt sich trotzdem nie ganz verhindern.
Das Problem ist, dass sich im gesamten Prozess Fehler einschleichen können. Derzeit stehen vor allem nichtrepräsentative Datensets, mit denen ADM-Systeme trainiert werden, im öffentlichen Fokus. Diese benachteiligen Frauen, People of Color und andere marginalisierte Gruppen, weil sie über diese weniger und verzerrte Daten enthalten. Der Fokus ist richtig und wichtig, doch die Probleme fangen schon viel früher an. Bereits bei der Zielsetzung wird entschieden, was der Algorithmus effizient gestalten soll, was dafür wichtig ist, was auf der Strecke bleiben kann. Auch der konkrete Programmierungsprozess ist bedeutend. Hier wird zum Beispiel entschieden, ob ein klassischer Entscheidungsbaum zum Einsatz kommt oder ein selbstlernendes neuronales Netz.

Solche selbstlernenden Systeme sind oft eine Blackbox: Niemand weiss, wie das Resultat zustande gekommen ist.
Genau. Dabei sind gerade in sensiblen Bereichen Transparenz und Nachvollziehbarkeit enorm wichtig. Als Bürgerin habe ich zum Beispiel in einem staatlichen Kontext einen Anspruch darauf, dass Entscheidungskriterien eindeutig, beständig, nachvollziehbar und erklärbar sind. Das ist bei einem komplexen selbstlernenden Algorithmus nicht gewährleistet.

Mittlerweile gibt es viele Ethikrichtlinien, mit denen sich Firmen wie Google, Facebook oder Amazon bei der Entwicklung von Algorithmen selbst zu Transparenz oder Fairness verpflichten. Was bringen solche Richtlinien?
Dass sich Unternehmen ethische Prinzipien auf die Fahnen schreiben, ist ein gutes Zeichen. Meist fehlt es aber an der Konkretisierung dieser Richtlinien. Sie bleiben zahnlose Tiger.

Es herrscht doch grosse Einigkeit über die Inhalte solcher Richtlinien.
Wir dürfen uns von den oberflächlichen begrifflichen Übereinstimmungen nicht blenden lassen. Äusserlich ähneln sich die europäischen, US-amerikanischen und chinesischen Richtlinien tatsächlich. Doch in den konkreten Definitionen zeigen sich Unterschiede. Zwar existiert ein vermeintlicher Konsens über Begriffe, aber die Krux liegt in der Praxis und der Umsetzung. Was bedeutet etwa Fairness in einem Programmierungsprozess ganz konkret?

Sollten solche Richtlinien also besser abgeschafft werden?
Nein, sie sind ein wichtiges Puzzleteil in der gesamten Lösungslandschaft, aber sie reichen alleine nicht aus. Ethische Fragen zu behandeln, ist keine einmalige Sache, die man einfach abhaken kann. Wir müssen aufhören, Algorithmen und sogenannte künstliche Intelligenz, KI, zu mystifizieren. Algorithmen sind keine magischen Elemente, die eigenständig und ethisch handeln können. Es fragt ja auch niemand, ob ein Werkzeug gut oder böse ist. Aber ich kann Menschen darin ausbilden, wie sie mit einem Hammer umgehen sollen.

Und was ist mit Ethiklabels? Diese könnten wie Fairtrade-Labels als externe Gütesiegel für Algorithmen dienen.
Ethiklabels alleine reichen nicht aus. Diese Vorstellung einer Art «KI-TÜV» etwa: Wir bringen unsere Algorithmen in eine Garage, und irgendjemand packt dann das fertige Label drauf, damit ich den Algorithmus anschliessend fröhlich anwenden darf. Das halte ich für eine verkürzte Sicht der Dinge. Denn der Algorithmus kommt in komplexen Situationen zum Einsatz und lernt vielleicht dazu. Es gibt eine Kontinuität, die sich nicht mit einem Label abbilden lässt.

Was würden Sie als Alternative vorschlagen?
Ethik verlangt ständige Reflexion und eine gemeinsame kritische Auseinandersetzung. Statt nur auf Checklisten zu setzen, müssen wir Kompetenzen aufbauen. Alle Prinzipien bringen nichts, wenn wir die Anwenderinnen und Anwender nicht darin schulen, wie sie mit Algorithmen umgehen können und sollen. Wir müssen ein Bewusstsein für die Möglichkeiten und Grenzen algorithmischer Systeme schaffen. Wir müssen auch erst einmal sicherstellen, dass die Anwendung richtig und zielführend eingesetzt wird.

Aber Transparenz als Ziel ist immer noch wichtig?
Natürlich. Offen ist bloss, wie diese genau aussehen soll. Ich denke, wir brauchen so etwas wie ein Transparenzregister für algorithmische Entscheidungssysteme. Das würde zumindest die Frage beantworten, wo Algorithmen überall Entscheidungen übernehmen. Chatbots sind dafür ein anschauliches Beispiel: Als Anwenderin weiss ich oft nicht, ob ich gerade mit einer echten Person spreche oder ein Algorithmus vorgefertigte Antworten ausspuckt. Das sind keine banalen Fragen, denn in solchen Gesprächen geht es auch um sensible Themen.

Bräuchten wir also Warnhinweise der Art «Achtung: Algorithmus im Einsatz»?
Ich bin keine grosse Freundin von Bannern, die ich einfach wegklicken kann, ohne den Inhalt zu verstehen. Ein Hinweis müsste sicherlich so gestaltet sein, dass auch für Laiinnen und Laien verständlich wird, was in diesem konkreten Kontext automatisiert wird.

Einige Städte und Länder diskutieren darüber, gewisse Algorithmen zu verbieten, zum Beispiel solche für die Gesichtserkennung. Sind solche Verbote zu begrüssen?
Im Allgemeinen müssen wir uns sicherlich fragen, ob gewisse Anwendungen ganz verboten werden müssen – oder zumindest nur sehr eingeschränkt erlaubt werden. Dabei geht es nicht einmal darum, ob solche Systeme fehleranfällig sind oder nicht. Je besser etwa Gesichtserkennung funktioniert, desto mehr Überwachungsmöglichkeiten bietet sie. Das veranschaulicht, dass grössere Risiken entstehen können, wenn Algorithmen besser und effektiver funktionieren. Am wichtigsten ist, dass wir solche Debatten nicht erst dann führen, wenn die Technologie bereits einsatzbereit oder im Einsatz ist.

Bräuchte es also in gewissen Bereichen eine Art Moratorium?
Ich persönlich bin dafür, dass wir gewisse Anwendungen zumindest vorerst verbieten – also: ja. Damit würden wir Raum und Zeit für Forschung und Debatten schaffen, die auch in der breiten Gesellschaft geführt werden müssen.

Lajla Fetic ist KI-Ethikerin und verantwortete im Projekt «Ethik der Algorithmen» der Bertelsmann-Stiftung die Weiterentwicklung ethischer Regeln für künstliche Intelligenz in Unternehmen.