AG 3: IT-Sicherheit, Privacy, Recht und Ethik

Lernende Systeme können Prozesse effizienter, komfortabler und sicherer machen. Dafür müssen sie verlässlich funktionieren und gegen Angriffe geschützt sein. Mit zunehmender Vernetzung steigt die Angriffsfläche; vernetzte Systeme werden selbst zu Angriffszielen. Im Fokus stehen Sicherheit (Safety & Security), Vertrauenswürdigkeit (Trustworthiness) und Privatheit (Privacy): Systeme sollen Störungen, Angriffen und Ausfällen standhalten und wesentliche Leistungen aufrechterhalten. KI kann selbst zur IT-Sicherheit beitragen (z. B. beim Erkennen von Schwachstellen), birgt aber auch Risiken, wenn sie für Cyberangriffe missbraucht wird. Parallel stellen sich rechtliche und ethische Fragen zu Verantwortung und Haftung, Transparenz und Aufsicht sowie zum Schutz von Grundrechten, insbesondere Datenschutz und Diskriminierungsfreiheit. Zu klären ist zudem, wo Grenzen zulässiger Überwachung verlaufen, wie besonders schutzbedürftige Gruppen berücksichtigt werden und wie sich bei hochautonomen Systemen menschliche Verantwortung und Kontrolle angemessen integrieren lassen.

Themen und Organisation der Arbeitsgruppe

Die Arbeitsgruppe „IT-Sicherheit, Privacy, Recht und Ethik“ thematisiert in zwei Unterarbeitsgruppen Fragen zur Sicherheit (Security), Zuverlässigkeit (Safety) und zum Umgang mit Privatheit (Privacy) bei der Entwicklung und Anwendung von Lernenden Systemen. Sie analysiert zudem rechtliche sowie ethische Anforderungen und steht in engem Austausch mit allen weiteren Arbeitsgruppen.

Mitglieder der Unterarbeitsgruppe IT-Sicherheit und Privacy

Prof. Dr. Bernhard Beckert
Karlsruher Institut für Technologie (KIT)

Prof. Dr. Michael Decker
TU München / Deutsches Museum

Prof. Dr. Thorsten Holz
Ruhr-Universität Bochum

Prof. Dr. Michael Huth
Technische Universität Nürnberg, Xayn AG

Marian Klee
Brighter AI Technologies GmbH

Dr. Katharina Krombholz
CISPA – Helmholtz-Zentrum für Informationssicherheit

Andrea Martin
IBM Watson Center Munich

Prof. Dr. Konrad Rieck
Technische Universität Berlin

Prof. Dr.-Ing. Ahmad-Reza Sadeghi
Technische Universität Darmstadt

Prof. Dr. Werner Schindler
Bundesamt für Sicherheit und Informationstechnik

Dr. Dirk Wacker
Giesecke+Devrient GmbH

Von den aufgeführten Personen liegt uns ein schriftliches Einverständnis zur Veröffentlichung ihrer Daten gemäß DSGVO vor. Diese Mitgliederliste stellt einen Auszug dar und wird laufend vervollständigt.

Mitglieder der Unterarbeitsgruppe Recht und Ethik

Prof. Dr. Susanne Beck
Gottfried Wilhelm Leibniz Universität Hannover

Prof. Dr. Peter Dabrock
Friedrich-Alexander-Universität Erlangen-Nürnberg

Prof. Dr. Michael Decker
Karlsruher Institut für Technologie

Prof. Dr. Gerd Gigerenzer
Max-Planck-Institut für Bildungsforschung

Prof. Dr. Armin Grunwald
Karlsruher Institut für Technologie (KIT) / Institut für Technikfolgenabschätzung und Systemanalyse (ITAS)

Prof. Dr. Jessica Heesen
Eberhard Karls Universität Tübingen

Prof. Dr. Klaus Heine
Erasmus University Rotterdam

Bernhard Hüngsberg
Deutsche Telekom AG

Anna Kaiser
Tandemploy GmbH

Andrea Martin
IBM Watson Center Munich

Prof. Dr. Tobias Matzner
Universität Paderborn

Prof. Dr. Catrin Misselhorn
Georg-August-Universität Göttingen

Prof. Dr. Christoph Neuberger
Freie Universität Berlin, Weizenbaum-Institut e.V.

Prof. Dr. Alexander Roßnagel
Universität Kassel

Prof. Dr. Frauke Rostalski
Universität zu Köln

Sebastian Schreiber
SySS GmbH

Prof. Dr. Judith Simon
Universität Hamburg, Deutscher Ethikrat

Prof. Dr. Louisa Specht-Riemenschneider
Rheinische Friedrich-Wilhelms-Universität Bonn

Freek Staehr
SAP SE

Prof. Dr. Antje von Ungern-Sternberg
Universität Trier

Prof. Dr. Sandra Wachter
University of Oxford

Prof. Dr. Katharina Anna Zweig
Technische Universität Kaiserslautern

Leitfragen der Arbeitsgruppe

IT-Sicherheit und Privacy

Wie kann KI zum Schutz von IT-Systemen eingesetzt werden?
Welche neuen Bedrohungen entstehen, wenn Angreifer KI benutzen?
Was kann passieren, wenn KI-Systeme angegriffen werden und wie lassen sie sich schützen?
Wie kann ein flexiblerer Umgang mit (personenbezogenen) Daten für KI-Anwendungen ermöglicht und gleichzeitig das Recht auf informationelle Selbstbestimmung gewahrt bleiben?

Recht und Ethik

Welche Herausforderungen stellen Lernende Systeme in puncto Haftung, strafrechtlicher Verantwortung sowie juristischer und ethischer Grundlagenfragen?
Wie müssen sie gestaltet sein, damit sie menschliche Autonomie und Grundrechte wahren, Chancengleichheit sichern und Diskriminierung vermeiden?
Ist es sinnvoll, ein Recht auf Dateneigentum einzuführen?
Wie kann die Gesellschaft im Sinne der Teilhabe an der Implementierung Lernender Systeme mitwirken?
Welche Auswirkungen haben KI-Systeme auf die demokratische Ordnung in Gesellschaften?

Ergebnisse und Beiträge der Arbeitsgruppe

Publikationen
Expertise
Videos

AI Act: Leitplanke oder Hemmnis der Wettbewerbsfähigkeit?
Expertenbeitrag von Ruth Janal, Fortschrittsbericht 2025/September 2025
Wie Wertschöpfung und Datenschutz beim KI-Einsatz in Unternehmen gelingen
Expertenbeitrag von Detlef Houdeau, Digitale Welt Magazin/Dezember 2023
Wie KI-Systeme und Daten geschützt werden können
Expertenbeitrag von Peter Rost, Digitale Welt Magazin/November 2023
Datenschätze heben, Datenschutz wahren
Expertenbeitrag von Detlef Houdeau, Industrie 4.0 Management/Juni 2023
KI als Autor: Warum ChatGPT den Originalitätsdruck auf menschliche Urheber erhöht
Expertenbeitrag von Anne Lauber-Rönsberg, DUZ-Magazin/Juni 2023
ChatGPT: Mächtiges Werkzeug oder gewaltiges Risiko?
Podcast mit Alexander Löser und Anne Lauber-Rönsberg, Technik aufs Ohr/April 2023
Worauf die Unternehmenssicherheit beim Einsatz von KI achten muss
Expertenbeitrag von Peter Rost, Protector/April 2023
Sicherheit im KI-Zeitalter: "Wir müssen neue Wege gehen."
3 Fragen an Ahamd-Reza Sadeghi/Februar 2023
Wie KI Medien und die Gesellschaft verändert
Interview mit Christoph Neuberger, TU Berlin/Weizenbaum Institut/Januar 2023
Wie kann KI vor Cyberangriffen in der Produktion schützen?
Expertenbeitrag von Detlef Houdeau/September 2022
Vom hilfreichen Werkzeug zum kriminell genutzten Tool: KI vor Missbrauch schützen
3 Fragen an Detlef Houdeau/März 2022
Kontrolle und Verantwortung: Wann Künstliche Intelligenz vertrauenswürdig ist
Beitrag von Armin Grunwald, Tagesspiegel Background/Februar 2022
AI and Elections – Observations, Analyses and Prospects
Beitrag von Jessica Heesen für die Heinrich-Böll-Stiftung Tel Aviv/Januar 2022
Das Gemeinwohl im Blick: Wie wir KI verantwortlich gestalten
3 Fragen an Jessica Heesen/Oktober 2021
Künstliche Intelligenz und Wahlen: So verändern sich Wahlkampf und Meinungsbildung
3 Fragen an Christoph Bieber/September 2021
Jessica Heesen über künstliche Intelligenz
Beitrag von Jessica Heesen für die Brandenburgische Landeszentrale für politische Bildung/2021
Potenziale und Herausforderungen einer europäischen KI-Strategie
Expertenbeitrag von Klaus Heine/Dezember 2020
Verantwortung in der Technologie-Entwicklung: Wie kommt Ethik in die KI?
3 Fragen an Jessica Heesen/Oktober 2020
Nur sichere KI-Systeme schaffen Vertrauen
Beitrag von Jörn Müller-Quade, www.computerwoche.de/April 2020
Der Patient im Mittelpunkt: Sichere KI-Systeme in der Medizin
3 Fragen an Thomas Schauf/April 2020
Wie diskriminierend ist Künstliche Intelligenz?
Beitrag von Susanne Beck, www.wissenschaftsjahr.de/September 2019
KI revolutioniert Wirtschaft und Alltag – und erfordert neues Recht
Beitrag von Klaus Heine, www.wissenschaftsjahr.de/Juni 2019
„KI bildet die Gesellschaft mitsamt den bestehenden Ungerechtigkeiten ab“
3 Fragen an Regina Ammicht Quinn/März 2019
Safer Internet Day: KI – Freund oder Feind?
3 Fragen an Holger Hanselka/Februar 2019

Koordination der Arbeitsgruppe in der Geschäftsstelle der Plattform Lernende Systeme: Dr. Erduana Wald (UAG IT-Sicherheit und Privacy) und Dr. Paul Grünke (UAG Recht und Ethik)