Künstliche Intelligenz und Diskriminierung: Plattform zeigt Lösungsansätze

Entscheidungen von Computerprogrammen erscheinen faktenbasiert, objektiv und neutral. Tatsächlich aber trifft Künstliche Intelligenz (KI) immer wieder problematische oder diskriminierende Entscheidungen – etwa wenn bei der Bestimmung der Rückfallwahrscheinlichkeit von Straftätern Schwarze Menschen schlechtere Prognosen erhalten als weiße Menschen. Mitglieder der Plattform Lernende Systeme fordern unter anderem eine unabhängige Kontrollinstanz, um die Erklärbarkeit und Überprüfung von Algorithmen zu fördern. Das Whitepaper aus der Arbeitsgruppe Recht und Ethik, das heute auf der Jahreskonferenz der Plattform in Berlin präsentiert wird, analysiert die Ursachen und Formen von Diskriminierung und zeigt Lösungsansätze auf.

Lernende Systeme bergen das Potenzial, in der Gesellschaft bereits vorhandene Diskriminierungen nicht nur zu übernehmen, sondern möglicherweise sogar zu verschärfen. Manche Diskriminierungen entstehen bereits bei der Konzeption eines Lernenden Systems. Unbewusst werden in der Gesellschaft etablierte Vorurteile in die Software übertragen, indem problematische Trainingsdaten ausgewählt werden. Beispiel: Ein KI-System wird zum Vorsortieren von Jobbewerbungen mit den Daten der in der Vergangenheit erfolgreich eingestellten Beschäftigten trainiert. Sind diese überwiegend männlich, lernt der Algorithmus, Bewerbungen von Männern besser zu bewerten als diejenigen von Frauen. Auf technischem Wege setzt das KI-System bestehende Diskriminierungen somit effektiv durch.

Manche Formen der Diskriminierung entstehen erst in der Anwendung eines KI-Systems, indem die Daten, aus denen das Systeme lernt, systematisch manipuliert werden. Dies war zum Beispiel bei einem Chatbot der Fall, der mit fremdenfeindlichen und frauenverachtenden Konversationen gefüttert wurde, bis er diskriminierende Antworten lernte.  

„Künstliche Intelligenz wird schon bald erhebliche Bedeutung in vielen Lebensbereichen erlangen. Deshalb müssen wir potentielle Diskriminierungen durch die Lernenden Systeme in den Griff bekommen oder zumindest abschwächen. Dazu gibt es durchaus Mittel und Wege“, sagt Susanne Beck, Professorin für Strafrecht der Leibniz Universität Hannover und Mitglied der der Arbeitsgruppe Recht und Ethik der Plattform Lernende Systeme. „Viele Betroffene sind sich ihrer Diskriminierung nicht einmal bewusst. Der erste Schritt ist daher, das Problem verständlich zu machen und intensiv in der Öffentlichkeit zu diskutieren. Zu dieser Debatte leistet unser Papier einen Beitrag.“

Vollständige Transparenz ist kaum möglich

KI-Systeme sind komplex und entwickeln sich eigenständig weiter. Ihre Lernvorgänge können daher weder vor ihrem Einsatz mit Sicherheit festgelegt werden, noch sind sie während der Anwendung vollständig nachvollziehbar. Umfassende Transparenz maschineller Entscheidungen ist aus faktischen und rechtlichen Gründen – etwa aufgrund des Zugriffs auf geistiges Eigentum – problematisch. Schon für das Training der Systeme muss aufgrund der notwendigen Massen an Daten auf Daten aus dem Internet zurückgegriffen werden – die nicht neutral sind. Allerdings sei auch nicht jede Unterscheidung zwischen Menschengruppen per se ungerechtfertigt, sondern Diskriminierung liege nur dann vor, wenn eine Gleich- oder Ungleichbehandlung ungerechtfertigt sei, so die Autorin und Autoren des Whitepapers.

Unabhängige Kontrollinstanz soll KI-Entscheidungen überprüfen

Eine unabhängige Instanz sollte die Entscheidungen und selbst abgegebenen Erklärungen Lernender Systeme kontrollieren und bewerten, empfehlen die Autorin und Autoren. Die Instanz soll ähnlich einem Datenschutzbeauftragten als Stellvertreter für die potenziell diskriminierten Bürgerinnen und Bürger agieren, die als gesellschaftlich Benachteiligte ihre Rechte meist nur schwer geltend machen können. Nötig seien Schulungen für die Beschäftigten in Unternehmen und Verwaltung, die mit Lernenden Systemen arbeiten. Hersteller oder Betreiber sollten verpflichtet werden, ihre Systeme während der Anwendung weiter zu beobachten und im Falle diskriminierender Entscheidungen nachzubessern, heißt es im Whitepaper.

Darüber hinaus sollten die Kriterien, anhand derer ein Algorithmus lernt, vorselektiert werden. Die Gesellschaft müsse sich dazu auf die Merkmale einigen, die als diskriminierend bewertet werden (z.B. die ethnische Zugehörigkeit), und diese aus dem Input für maschinelle Lernverfahren streichen. Gerechtigkeit sei als Ziel maschinellen Lernens zu definieren und Betroffenen eine effektive Rechtsdurchsetzung zu ermöglichen, nennen die Autorin und Autoren als weitere Ansatzpunkte für diskriminierungsfreie Systeme.

Über dieses Whitepaper:

Das Whitepaper „Künstliche Intelligenz und Diskriminierung“ wurde verfasst von Susanne Beck, Leibniz Universität Hannover, Armin Grunwald, Karlsruher Institut für Technologie (KIT), Kai Jacob, SAP, und Tobias Matzner, Universität Paderborn. Die Autorin und Autoren sind Mitglieder der Arbeitsgruppe „IT-Sicherheit, Privacy, Recht und Ethik“ der Plattform Lernende Systeme.

Weitere Informationen:

Linda Treugut / Birgit Obermeier
Presse- und Öffentlichkeitsarbeit
Lernende Systeme – Die Plattform für Künstliche Intelligenz
T.: +49 89/52 03 09-54 /-51
M.: +49 172/144 58-47/-39
presse@plattform-lernende-systeme.de