Armin Grunwald

Herr Grunwald, ist ein KI-System mit niedriger Kritikalität unbedenklich?

Armin Grunwald: Die Kritikalität eines KI-Systems hängt davon ab, wie, wo, wann und von wem es eingesetzt wird. Innerhalb dieses Anwendungskontextes lassen sich mögliche Risiken in der Theorie nachvollziehbar beurteilen. Dies ist hilfreich, um eventuelle Vorsichtsmaßnahmen für den Einsatz der KI-gestützten Produkte und Dienstleistungen in der Praxis zu treffen, sozusagen „für den Fall der Fälle“. Allerdings kann die theoretische Beurteilung nicht die mögliche Dynamik der späteren realen Nutzung vorwegnehmen. Diese ist oft unvorhersehbar, schon allein deshalb, weil Marktgeschehen und Akzeptanz bei den Menschen immer wieder überraschend verlaufen. Außerdem übersteigt die menschliche Kreativität häufig die angenommenen Anwendungsszenarien – im positiven Sinne, wenn neue erwünschte Anwendungen und Innovationen entdeckt werden, aber auch im negativen Sinne, wenn KI-Systeme für unethische Aktionen missbraucht oder zweckentfremdet werden. Daher ist eine niedrige Kritikalität nur ein Hinweis auf ein zunächst anzunehmendes geringes Schadenspotential, aber keine Garantie, dass dies auch so bleibt. Keinesfalls ist sie gleichbedeutend mit Unbedenklichkeit, denn letztere zeigt sich erst im Laufe der Anwendungen in der Praxis. Unbedenklichkeit ist nicht einfach ein technischer Parameter, sondern verbindet technische Eigenschaften mit menschlichem Nutzungsverhalten. Und letzteres ist immer für Überraschungen gut – in sehr unterschiedliche Richtungen.

Warum ist es so schwierig die Risiken eines KI-Systems verlässlich zu beurteilen?

Armin Grunwald: Über die Gefahren und Risiken (also mögliche Gefahren) von konventioneller IT verfügen wir zumindest in Teilen über belastbares Wissen. So wissen wir, mit welcher Wahrscheinlichkeit Fehler eintreten oder wie sich mögliche Gefahren ausprägen können. KI hingegen ist häufig in visionäre Erzählungen und Anwendungsszenarien eingebettet, in denen dieses Wissen nicht vorhanden ist. Stattdessen müssen Annahmen über zukünftige Anwendungen getroffen werden, deren Eintreten mehr oder weniger erwartbar oder auch spekulativ ist. Die Offenheit der Zukunft – oft abwertend als Unsicherheit bezeichnet – verhindert eine auf empirischen Daten beruhende Risikobeurteilung, denn Daten aus der Zukunft gibt es nicht. Zu dieser grundsätzlichen Begrenzung kommt hinzu, dass KI-Systeme sich durch maschinelles Lernen in unvorhersehbarer Weise verändern können, während konventionelle IT ihre Eigenschaften nicht selbst verändern kann. Jegliche Risikobeurteilung für KI-Systeme muss daher auch mögliche Veränderungen in den Blick nehmen und sogar die Risiken eines nicht-intendierten Lernens betrachten – also: Lernen unerwünschter Effekte. Eventuell sind auch Leitplanken des Lernens in das KI-System einzuprogrammieren, um solch unerwünschte Effekte zu vermeiden.

Die Regulierung anhand von Kritikalitätsstufen reicht also nicht aus. Was ist notwendig, um ein KI-System vertrauenswürdig zu machen?

Armin Grunwald: Die Antwort fällt leichter, wenn wir die Frage mit anderen Techniken vergleichen. Wann sehen wir ein Auto als vertrauenswürdig an? Wenn wir nicht darauf vertrauen würden, dass Bremsen, Lenkung und andere Funktionselemente wie gewünscht arbeiten, würden wir kein Auto fahren. Die Vertrauenswürdigkeit der Funktionsweise hat zwei Komponenten: Vertrauen in die Technik selbst, also das sie das tut, was sie tun soll. Und Vertrauen in Menschen und Institutionen, die dafür geradestehen und dies überprüfen. Das reicht von der Herstellerfirma über die Werkstatt bis zum TÜV. Vertrauen entsteht, wenn technische Leistungsparameter, entsprechende Erfahrung und deren menschliche bzw. institutionelle Überwachung zusammenkommen. Analog ist dies bei KI-Systemen: sie müssen zugelassen werden, sie müssen verlässlich und nachweisbar ihren Dienst tun und sie muss regelmäßig von einer Art TÜV überprüft werden. Auch dank des genannten Symbols des TÜV vertrauen wir in die Sicherheit von traditionellen Autos. In ein selbstfahrendes Auto würden heute hingegen nicht alle Menschen steigen. Der Unterschied liegt darin, dass wir mit der KI als Teil des Bordcomputers keine Erfahrungen haben und ihr ein vertrauenswürdiges Siegel fehlt.

Als Mitglied der Arbeitsgruppe IT-Sicherheit, Privacy, Recht und Ethik hat Armin Grunwald das Whitepaper Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten mitverfasst.