Rassismus ordnet unser Denken und Zusammenleben. Mit der Serie "Alltag Rassismus" wollen wir herausfinden, warum das so ist, was das für die Gesellschaft bedeutet und wie es sich verändern ließe. In diesem Teil erklärt Eva Wolfangel, warum sogar Technik nicht frei von rassistischen Mustern ist.

Wir Menschen wissen nicht alles, aber zumindest wissen wir das: Wir treffen Entscheidungen, indem wir Fakten, Halbwissen, Vorlieben, Vorurteile und die Erwartung persönlicher Vorteile vermischen – in der Hoffnung, damit am Ende richtigzuliegen. Wirklich objektive Entscheidungen gibt es nicht. Um diesem Problem entgegenzuwirken, vertrauen wir zunehmend auf Maschinen. Computer und Algorithmen sollen uns nun von Vorurteilen befreien. Entwicklungen auf dem Gebiet der künstlichen Intelligenz sollen uns Entscheidungen nicht nur abnehmen, sondern bessere und objektivere Entscheidungen treffen.

So weit die Idee. Zuletzt aber geschah Folgendes: Eine Google-Software beschriftete das Foto einer Afroamerikanerin mit "Gorilla". Wenn die Menschen "professionelle Frisur" googelten, tauchten in den ersten Ergebnissen der Bildersuche nur blonde Flechtfrisuren auf. In der Endauswahl eines maschinell entschiedenen Schönheitswettbewerbs landeten nur weiße Kandidatinnen. Eine Software der neuseeländischen Passbehörde verweigerte die Anerkennung asiatischer Pässe, der Algorithmus ging davon aus, dass die Augen der Abgebildeten geschlossen waren. Und ein System, das Richterinnen und Richtern helfen sollte, zu entscheiden, welche Häftlinge vorzeitig entlassen werden sollten, war der Ansicht, dass eine dunkle Hautfarbe das entscheidende Kriterium für eine hohe Rückfallwahrscheinlichkeit für Straftaten sei. Und das ist nur ein Beispiel dafür, was beim Predictive Policing – so der Fachbegriff für Polizeiarbeit auf Basis von Verbrechensprognosen – schiefgehen kann.

"Wir dachten, dass Algorithmen bessere Entscheidungen treffen könnten, beispielsweise bei der vorhersagenden Polizeiarbeit oder bei der Personalauswahl", sagt die US-amerikanische Techniksoziologin Zeynep Tüfekçi ZEIT ONLINE, "aber dieser Traum ist ausgeträumt."

Dass sich Software nicht nur irrt, sondern erstaunlich konsequent Bevölkerungsgruppen diskriminiert, also ein rassistisches Bias zeigt, ist auf zwei Ursachen zurückzuführen. Die erste ist schnell erklärt: Die modernen Algorithmen lernen auf der Grundlage von ausgewählten Trainingsdaten, also beispielsweise Informationen darüber, wie Menschen diese Entscheidungen bislang getroffen haben. Und sie erkennen darin Muster. Wenn aber bereits die Trainingsdaten von den Entwicklern unzureichend ausgewählt wurden, reproduzieren die Algorithmen das Problem. Die Computerprogramme selbst sind nicht rassistisch, aber sie können anhand der Daten diskriminierende Ergebnisse hervorbringen. Eigentlich sei es ganz einfach, sagt Margaret Mitchell von Google Research in Seattle: "Steckt man Müll rein, kommt Müll raus." Oder eben: "Stecken wir Vorurteile rein, kommen Vorurteile raus."

Steckt man Müll rein, kommt Müll raus.
Margaret Mitchell, Leitende Wissenschaftlerin bei Google Research

Diese seien allerdings meist nicht offensichtlich, weshalb sie zunächst nicht bemerkt würden. "Wir haben heute dank der Deep-Learning-Revolution mächtige Technologien", sagt Mitchell, "die Tendenzen in den Daten werden manchmal aber erst durch den Output der Systeme sichtbar." Anders gesagt: Was falsch läuft, erkennt man häufig erst am Ende. Und das auch nur, wenn sich die Entwickler und Entwicklerinnen darüber bewusst seien, dass sie die Ergebnisse infrage stellen müssen.

Man könnte das Problem angehen, indem man die Trainingsdaten inklusiver gestaltet. Eine Software zur Gesichtserkennung etwa darf nicht nur mit einer Bilddatenbank von Mitteleuropäern gefüttert werden, sondern muss auch Menschen mit dunkler Hautfarbe und Gesichter von Asiaten korrekt erkennen. Dann hätte Googles Software vielleicht eine Schwarze nicht mit einem Gorilla verwechselt. Allerdings müsste es dazu erst einmal entsprechend umfassende Datensätze geben. Und selbst dann gebe es noch keine Lösung, wie man diskriminierende Tendenzen in den Trainingsdaten systematisch aufspüren könne, sagt Mitchell: "Diese Technologie muss erst noch entwickelt werden. Damit müssen wir uns jetzt beschäftigen, denn diese Systeme sind die Grundlage für die Technologien der Zukunft."

Algorithmen sollen sich erklären

Die zweite Ursache für ein rassistisches Bias von Algorithmen liegt weniger im Input als im Output. Die neuen Systeme des maschinellen Lernens sind dermaßen konsequente und perfekte Korrelationsaufspürmaschinen, dass sie Zusammenhänge erkennen, die uns Menschen nicht bewusst sind. Beispielsweise fanden Systeme zur automatischen Auswahl von Kandidatinnen und Kandidaten für ein Bewerbungsgespräch in den USA einen Zusammenhang zwischen steigender Entfernung vom Wohn- zum Arbeitsplatz und der Fluktuation entsprechender Mitarbeiter, erklärt Zeynep Tüfekçi.

Der Computer riet den Unternehmen in diesem Fall zu Bewerberinnen oder Bewerbern, die näher am Firmensitz wohnen. "In den USA benachteiligt diese Korrelation aber vermehrt Schwarze, weil die häufiger in den Außenbezirken leben", sagt Tüfekçi. Der Computer sortierte also Afroamerikaner aus, selbst wenn er keine Information über ihren ethnischen Hintergrund oder die Hautfarbe hatte. Die in den USA verbreitete Praxis, keine Bewerbungsfotos zuzulassen und Namen zu anonymisieren, half hier also nicht.

Auch im Fall der schwarzen Strafgefangenen, denen ein Algorithmus eine höhere Rückfallwahrscheinlichkeit attestierte und den die Journalistenvereinigung Pro Publica 2017 aufgedeckt hatte, war die Hautfarbe nicht in den Daten hinterlegt. Aber das System fand Korrelationen zwischen Wohnort, Lebensumständen und der Hautfarbe. 

Technik ist nicht gerecht, sie ist nicht objektiv.
Tobias Matzner, Technikethiker

Es wird kaum möglich sein, alle Merkmale zu entfernen, an denen sich der Algorithmus nicht orientieren soll, sagt Sorelle Friedler, Informatikerin am Haverford College nahe Philadelphia. Sie habe das selbst mit einem Forschungsdatensatz ausprobiert: "Du kannst alles entfernen, was aus deiner Sicht auf die Hautfarbe schließen lässt, und dann versuchen, mit dem Computer die Hautfarbe vorherzusagen", sagt Friedler. In vielen Fällen gelinge das dem Computer. Wieso? Das sei für Menschen kaum nachvollziehbar. Die algorithmischen Verfahren stellen häufig eine Blackbox dar, selbst für die Entwickler. "Wenn du jedes Attribut entfernst, aus dem das System die Hautfarbe schließen könnte, entfernst du am Ende alle deine Daten."

Merkmale zu löschen ist für Friedler also keine Lösung. Sie hofft vielmehr auf algorithmische Verfahren, die sich selbst erklären. Sie möchte also die Blackbox öffnen, um nachzuverfolgen, wie Algorithmen zu ihren Entscheidungen kommen. So sollen die Systeme zuverlässiger werden. Ein Konzept präsentierten jüngst einige Forscher der Non-Profit-Organisation OpenAI: Sie wollen zwei Algorithmen dazu bringen, in menschlicher Sprache über ihren Entscheidungsprozess zu diskutieren. Die Forscher könnten dieses Gespräch dann verfolgen und den Systemen jene Faktoren entlocken, auf denen eine Entscheidung basiert.

Zu wissen, wie ein Algorithmus zu seinen Ergebnissen kommt, löst aber noch nicht das Problem der falschen Anwendung. Für Tobias Matzner, Technikethiker und Informatiker an der Uni Paderborn, ist deshalb schon der Ansatz falsch, durch Technik Objektivität herstellen zu wollen. "Technik ist nicht gerecht, sie ist nicht objektiv", sagt er. Die Idee, dass man die Blackbox nur öffnen und schauen müsse, ob das "Richtige" drinsteht, hält er für falsch. "Das suggeriert, dass wir wissen, was richtig ist."

Der neue Rassismus ist nicht weniger perfide

Man könne nicht davon ausgehen, dass Maschinen ganz objektiv "die Richtigen" finden – sei es der perfekte neue Mitarbeiter oder der Terrorist am Bahnhof. Der Versuch, Vorhersagen über Menschen zu treffen auf Grundlage aller verfügbaren Daten über sie, zementiere ein Bild über sie. "Prädiktion ist nichts anderes als ein instrumentalisiertes Vorurteil", erklärt Matzner – nach dem Muster: Menschen, die das tun, tun auch das.

Rassistische Tendenzen werden häufig erst dann bemerkt, wenn etwas offensichtlich schiefgelaufen ist, wie im Fall des Gorillas und der Google-Software. Andernfalls reproduzieren sie bestehende Vorurteile, die ungelöste ethische Fragen aufwerfen. Für Menschen, die von falschen Urteilen oder von Vorurteilen durch Algorithmen betroffen sind, gibt es zum Beispiel keine Hilfe, denn die Öffentlichkeit erfährt nie von den technischen Fehlern. "Mit dieser datenbasierten Idee von Prädiktion entsteht eine ganz neue Gruppe an Verdächtigen", erklärt Matzner: die Datenverdächtigen.

Weitreichende Folgen für die Betroffenen

"Man wird verdächtig aufgrund eines gewissen Musters, das Algorithmen in Daten gefunden haben", sagt der Informatiker. Das sei nicht unbedingt deckungsgleich mit dem "alten" Rassismus, aber deshalb nicht weniger perfide. Unter Menschen werde eine neue Form der Unterscheidung hergestellt, mit teils weitreichenden Folgen für die Betroffenen. Wer Terrorverdächtiger ist, darf womöglich nicht mehr reisen, und wer laut Algorithmus eine hohe Rückfallwahrscheinlichkeit hat, sitzt länger im Gefängnis als andere.

Deshalb müsse die Gesellschaft eine Debatte darüber führen, wieso und ob sie das Bedürfnis habe, dass angeblich objektive Algorithmen Urteile über Menschen fällen, sagt Tobias Matzner. "Technik suggeriert uns Kontrolle über etwas, das uns Unbehagen bereitet", sagt Matzner – beispielsweise zuziehende Migrantinnen oder mutmaßliche Terroristen unter Flüchtlingen.

Blindes Vertrauen in die Technik könne problematisch sein: Wir Menschen wissen, dass wir Fehler machen und uns von Gefühlen irreleiten lassen. Wir sprechen uns deshalb ab, bilden divers besetzte Gremien, erlassen Gleichstellungs- und Antidiskriminierungsgesetze, setzen auf Mehrheitsentscheidungen oder einfach nur den gesunden Menschenverstand. Für Algorithmen gibt es all das nicht – noch nicht.

Ist es also eine Diskriminierung oder einfach nur "blöd gelaufen", wenn jemand zu Unrecht von Algorithmen verdächtigt wird? Womöglich kommen wir am Ende der Debatte zum Schluss, dass doch besser weiterhin Menschen über Menschen urteilen sollten. Fehler mit eingeschlossen.