Zur Navigation springen Zum Hauptinhalt springen Zum Footer springen

Standpunkte

Ziel gelungener Regeln für Künstliche Intelligenz ist es, die Vertrauenswürdigkeit eines KI-Systems zu garantieren. Wie gestalten wir diese Regeln? Bei der Abschätzung des Risikopotenzials von Künstlicher Intelligenz und ihrer Regulierung gibt es vielfältige Aspekte zu berücksichtigen.

Stimmen aus der Plattform Lernende Systeme

Expertinnen und Experten der interdisziplinär besetzten Plattform Lernende Systeme blicken vor ihrem jeweiligen fachlichen Hintergrund auf die Gestaltung vertrauenswürdiger Künstlicher Intelligenz.

Richtige Balance finden

„Normen und Standards für KI-Systeme schützen Menschen sowie Unternehmen vor möglichen Risiken, die mit dem Einsatz von KI-Anwendungen verbunden sind. Es gilt jedoch, die richtige Balance zwischen einer harten Beschränkung und der Innovationsförderung für den Wirtschaftsstandort Deutschland zu finden. Überregulierung ist unbedingt zu vermeiden Ziel ist eine vertrauensstiftende Gestaltung der Technologie. Im besten Fall gelingt es uns, durch einheitliche Regeln in Europa eine Art Qualitätssiegel ‚AI made in Europe‘ zu schaffen“.

Prof. Dr.-Ing. Jan Wörner, Präsident acatech – Deutsche Akademie der Technikwissenschaften und Co-Vorsitzender der Plattform Lernende Systeme

Verordnungen dürfen nicht hemmen

„Derzeit sind die Anforderungen des Gesetzgebers an KI-gestützte Medizinprodukte unklar. Das hemmt Investitionen in diesen Bereich. Der AI Act der EU schafft Rechtssicherheit. Er stellt verbindliche Leitplanken auf, innerhalb derer Hersteller und Benannte Stellen sichere, rechtskonforme KI-Systeme für die Medizin gestalten können. Wichtig ist allerdings, dass die Verordnung der rasanten technischen Entwicklung der KI-Technologie Rechnung trägt und Innovation nicht hemmt.“

Albin Rad, Global Director Functional Safety, Software and Digitization TÜV SÜD und Mitglied der Plattform Lernende Systeme

Risiken nicht-intendierten Lernens

„KI ist häufig in visionäre Erzählungen eingebettet, in denen kein belastbares Wissen über Gefahren und Risiken besteht. Weiterhin verändern sich KI-Systeme durch Maschinelles Lernen. Eine Technikfolgenabschätzung für KI-Systeme muss daher auch mögliche Risiken nicht-intendierten Lernens betrachten und über einprogrammierte Leitplanken des Lernens nachdenken.“

Prof. Dr. Armin Grunwald, Leiter des Instituts für Technikfolgenabschätzung und Systemanalyse (ITAS) am KIT, Leiter des Büros für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB) und Mitglied in der Plattform Lernende Systeme

Handlungsräume im Datenschutz schaffen

“Einsatz und Entwicklung von KI brauchen Rechtssicherheit. Statt Verbotsräumen sollte der Gesetzgeber Handlungsräume schaffen und technische Verfahren zur Wahrung des Datenschutzes juristisch zulassen. So lassen sich aktuell bestehende Interpretationsspielräume bei der Verarbeitung personenbezogener Daten schließen und die Chancen der Schlüsseltechnologie KI für unsere Gesellschaft besser nutzen.”

Prof. Dr. Jörn Müller-Quade, Professor für IT-Sicherheit am Karlsruher Institut für Technologie (KIT) und AG-Leiter in der Plattform Lernende Systeme

Handlungsspielraum für den Menschen

„Je geringer der menschliche Entscheidungsraum und je höher die Gefährdungslage eines KI-Systems eingeschätzt wird, desto mehr Handlungsoptionen sollten dem Individuum zur Verfügung stehen, um mögliche Gefährdungen für Menschen und Rechtsgüter abzuwenden. Beispiele hierfür sind, den Anbieter zu wechseln oder alternative Konfigurationen zu wählen bis hin zum Opt-out.“

Dr. Dipl.-Ing. Detlef Houdeau, Senior Director Business Development bei Infineon Technologies AG und AG-Leiter in der Plattform Lernende Systeme

Selbstverpflichtungen und Bildung

Die KI-Verordnung der EU wird ein entscheidender Beitrag für eine verbesserte Regulierung sein. Sie reicht jedoch nicht aus. Wir brauchen insbesondere im staatsfernen Medienbereich Selbstverpflichtungen mit Kennzeichnungspflichten. Zudem muss Ethik in KI-Forschung und Entwicklung integriert werden. Und selbstverständlich sind wir auch alle selbst aufgerufen, uns mit neuen Techniken wie KI auseinanderzusetzen und sie selbstbestimmt zu nutzen. Dazu brauchen wir Bildung für kritische Medienmündigkeit etwa in der Schule, der Hochschule und der Ausbildung.

Prof. Dr. Jessica Heesen, Leiterin des Forschungsschwerpunkts Medienethik an der Universität Tübingen und AG-Leiterin in der Plattform Lernende Systeme

Betriebliche Folgen von KI abschätzen

„Es sind die Pflichten der Betriebe zu stärken. Es ist dringend erforderlich Nutzungsregeln im Sinne einer betrieblichen Folgenabschätzung für KI in der Arbeitswelt zu implementieren. Hierzu gehören Fragen wie zum Beispiel Auswirkungen auf Beschäftigung (Rationalisierungswirkung), Qualifizierungsbedarfe, Belastungsveränderungen etc.“

Oliver Suchy, Mitglied im Bundesvorstand des Deutschen Gewerkschaftsbundes DGB und Mitglied in der Plattform Lernende Systeme

Unabhängige Zertifizierung

„Die Kritikalitätsstufen sind ein Indikator für die Risiken, welche mit dem Einsatz eines KI-Systems verbunden sind. Für hohe Kritikalitätsstufen ist es also wichtig, dass potenzielle KI-Risiken hinreichend gut mitigiert sind, was etwa durch eine unabhängige Prüfung und die Verleihung eines Zertifikats erfolgen kann. Gleichzeitig können Zertifikate für Systeme mit geringer Kritikalität bescheinigen, dass zugesicherte Eigenschaften dieser Systeme erfüllt werden. Dies kann für Anbieter dieser Systeme einen Wettbewerbsvorteil darstellen und Transparenz für Nutzende dieser Systeme schaffen.“

Prof. Dr. Stefan Wrobel, Leiter des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme IAIS und Mitglied in der Plattform Lernende Systeme

Technologie als Zeitenwende

„Große Sprachmodelle werden fundamentale Kulturtechniken wie Lesen und Schreiben sowie primäre Informationsverarbeitung radikal verändern; schwer überprüfbare Fakeinformationen via Schrift, Videos und Bildern werden Konzepte von Wahrheit und Wirklichkeit weiter unter Druck setzen. Den modernitätsaffinen Systemen von Wissenschaft und Demokratie drohen schwerste Krisen, wenn kein Weg gefunden wird, ihre Entwicklung so zu regeln, dass sie Selbstbestimmung für möglichst viele stärken und Sozialkohäsion nicht zerstören. Entscheidend ist, dass alle Stufen und Organisationen von Bildungs- und nicht nur Kompetenzvermittlung realisieren, dass Sprachmodelle einen Epochenbruch darstellen und wir umgehend lernen, diesen kritisch und konstruktiv zu gestalten.“

Prof. Dr. Peter Dabrock, Professor für Systematische Theologie (Ethik) der Friedrich-Alexander-Universität Erlangen-Nürnberg und Mitglied der Plattform Lernende Systeme

Technologischen Fortschritt beachten

„Bestehende Zertifizierungssysteme sind oft zu träge. In der Folge werden IT-Systeme teilweise nicht weiterentwickelt, weil die damit verbundene erneute Zertifizierung zu aufwendig ist. Ein gutes Zertifikat für KI muss diese Dynamik berücksichtigen und seine Gültigkeit unabhängig vom technologischen Fortschritt bewahren.“

Prof. Dr. Jörn Müller-Quade, Professor für IT-Sicherheit am Karlsruher Institut für Technologie (KIT) und AG-Leiter in der Plattform Lernende Systeme

Publikationen zum Thema

AI Act der Europäischen Union: Regeln für vertrauenswürdige KI

Publikation aus der Reihe: KI Kompakt

Plattform Lernende Systeme
Erschienen: Mai 2024

KI-Systeme schützen, Missbrauch verhindern

AGs IT-Sicherheit, Privacy, Recht und Ethik und Lebensfeindliche Umgebungen
AutorInnen: Beyerer, J., Müller-Quade, J. et al.
Erschienen: März 2022

Kritikalität von KI-Systemen in ihren jeweiligen Anwendungskontexten

AGs IT-Sicherheit, Privacy, Recht und Ethik und Technologische Wegbereiter und Data Science
AutorInnen: Jessica Heesen, Jörn Müller-Quade, Stefan Wrobel et al.
Erschienen: November 2021

Zertifizierung von KI-Systemen

AGs IT-Sicherheit, Privacy, Recht und Ethik und Technologische Wegbereiter und Data Science
AutorInnen: Jessica Heesen, Jörn Müller-Quade, Stefan Wrobel et al.
Erschienen: November 2020

Ethik-Briefing

Leitfaden für eine verantwortungsvolle Entwicklung und Anwendung von KI-Systemen

AG IT-Sicherheit, Privacy, Recht und Ethik
AutorInnen: Jessica Heesen et al.
Erschienen: Oktober 2020

  • Einordnung: Hightech Agenda Deutschland

  • Ziele der Hightech Agenda im Bereich KI

  • Stärken, Schwächen, Chancen und Risiken

  • Zentrale Maßnahmen und Förderinstrumente

  • Umsetzung der KI-Schwerpunkte

  • KI und andere Schlüsseltechnologien

Einordnung: Hightech Agenda Deutschland

Die Hightech Agenda Deutschland (HTAD) ist der zentrale strategische Rahmen der Bundesregierung für Forschungs- und Innovationspolitik.

Die HTAD, beschlossen im Juli 2025, definiert die Leitlinien, nach denen Deutschland seine technologische Zukunft gestaltet. Sie beantwortet drei zentrale Fragen:

  1. In welchen Bereichen soll Deutschland technologisch führend sein?
  2. Wie lässt sich die Wettbewerbsfähigkeit langfristig sichern?
  3. Und wie bleibt das Land in Schlüsseltechnologien souverän?

Künstliche Intelligenz ist in der HTAD als eine von sechs zentralen Schlüsseltechnologien verankert. Als Querschnittstechnologie durchdringt KI nahezu alle Bereiche, von industrieller Produktion über Gesundheitswesen und Mobilität bis zu öffentlicher Verwaltung.

Mit der Hightech Agenda Deutschland werden die zuvor in der Nationalen KI-Strategie der Bundesregierung formulierten übergreifenden Ziele fortgeschrieben und weiter umgesetzt.

 

Ziele der Hightech Agenda im Bereich KI

Die HTAD verfolgt ambitionierte Ziele für KI in den Bereichen Wirtschaft, Technologie und Gesellschaft. Im Zentrum steht eine klare Zielmarke:

Ziel 1

Bis 2030 sollen rund 10 Prozent der deutschen Wirtschaftsleistung durch KI unterstützt oder direkt erzeugt werden. Deutschland soll zu einem führenden Standort für die Entwicklung und Anwendung von KI werden. Die Arbeitsproduktivität soll erhöht und Künstliche Intelligenz zu einem wichtigen Werkzeug in zentralen Forschungs- und Anwendungsfeldern werden.

Ziel 2

Wissenschaft, Forschung, Wirtschaft, Verwaltung und Gesellschaft sollen messbar besseren Zugang zu KI-Kapazitäten wie Algorithmen, Daten, Rechnern, Softwaretools oder KI-Chips bekommen, um diese nutzen zu können. Hierzu soll beispielsweise eine der europäischen AI Gigafactories in Deutschland entstehen.

Ziel 3

Deutschland soll ein zentraler Player für die nächste KI-Generation und im weltweiten Wettbewerb werden. Dazu sollen u. a. KI-Spitzenzentren für die Forschung gestärkt und vernetzt und Förderprogramme gestartet werden.

Stärken, Schwächen, Chancen und Risiken

Zentrale Maßnahmen und Förderinstrumente

Die HTAD bündelt Maßnahmen, um KI von der Forschung in die Anwendung zu bringen. Um die Ziele im KI-Bereich zu erreichen, fasst die Hightech Agenda unterschiedliche Maßnahmen und Förderinstrumente zusammen, die von der Entwicklung neuer KI-Modelle bis zur Unterstützung von Start-ups reichen.

Wichtige Schwerpunkte sind:

KI-Modelle der nächsten Generation

Forschungsverbünde entwickeln leistungsfähige KI-Modelle, die auf europäische Anforderungen zugeschnitten sind und die Forschung voranbringen, beispielsweise in Bezug auf Datenschutz, Sicherheit und Energieeffizienz. Ein Fokus liegt auf sicheren, erklärbaren und ressourcenschonenden Systemen.

Daten- und Recheninfrastruktur

Nationale Rechenzentren und Cloud-Kapazitäten werden ausgebaut und besser zugänglich gemacht. Hierzu soll eine der europäischen AI Gigafactories nach Deutschland kommen. Ein geplantes Forschungsdatengesetz soll regeln, wie Daten verantwortungsvoll geteilt und genutzt werden können.

Kooperationen und Transfer

Die HTAD stärkt Verbundprojekte zwischen Hochschulen, außeruniversitären Instituten, Start-ups, Unternehmen und öffentlichen Einrichtungen. Gefördert werden Transferprojekte und KI-Pilotanwendungen, insbesondere in Schlüsselbranchen.

Unterstützung von KMU

KMU sollen beim Einsatz von KI unterstützt werden, auch mit gezielten KI-Infrastrukturen, wie den KI-Servicezentren.

Gründungs- und Transferunterstützung

Ausgründungen aus der Forschung werden erleichtert und die Förderangebote für KI- und
DeepTech-Start-ups ausgebaut. Dazu gehören auch bessere Rahmenbedingungen für Finanzierung, Wachstum und Skalierung.

Umsetzung der KI-Schwerpunkte

Zur Verwirklichung der Ziele der HTAD im Bereich KI und zur Umsetzung, Weiterentwicklung und Ergänzung der genannten Maßnahmen wurde im Herbst 2025 ein Roadmapping-Prozess gestartet.

Dabei sollen mit Akteuren aus Wissenschaft, Wirtschaft, Politik, Ländern und Zivilgesellschaft gemeinsam Meilensteine, Zeitpläne und geeignete Indikatoren entwickelt werden, die regelmäßig überprüft und angepasst werden. Parallel wird ein passendes Monitoring aufgesetzt.

KI und andere Schlüsseltechnologien

KI ist keine Insel, sondern eng mit anderen Schlüsseltechnologien verflochten. Die Hightech Agenda versteht KI konsequent als Querschnittstechnologie. Sie stärkt andere Schlüsseltechnologien und profitiert gleichzeitig von deren Fortschritten.

Fortschritte insbesondere in der Mikroelektronik, Quantentechnologien, und im Bereich Energie eröffnen neue KI-Anwendungen und erhöhen deren Leistungsfähigkeit, Sicherheit und Effizienz. Umgekehrt treibt KI die Entwicklung dieser und weiterer Technologien voran, etwa durch automatisierte Analysen, Mustererkennung oder Simulationen.

Einige Beispiele:

Mikroelektronik

KI benötigt spezialisierte Hardware, energieeffiziente Chips und Hochleistungsrechner. Europäische Chip-Initiativen schaffen die Grundlage für souveräne skalierbare KI-Modelle, während KI umgekehrt das Design und die Fertigung von Halbleitern optimiert.

Quantentechnologien

Quantencomputer können bestimmte KI-Berechnungen deutlich beschleunigen. KI unterstützt umgekehrt die Quantenforschung, etwa bei Simulationen und Optimierungsaufgaben. Gemeinsam entstehen neue Anwendungen, zum Beispiel in Materialforschung, Logistik oder Kryptographie.

Biotechnologie und Gesundheit

KI ist zentral für personalisierte Medizin, Diagnostik, Wirkstoffentwicklung und die Auswertung großer biomedizinischer Datensätze. Biotechnologische Fortschritte liefern die Datenbasis, KI macht komplexe Muster sichtbar und unterstützt klinische Entscheidungen.

Klimaneutrale Energie & Mobilität

Im Energiesektor hilft KI, Netze, Speicher und Verbrauch zu optimieren. In der Mobilität treibt KI automatisiertes Fahren, Verkehrssteuerung und Logistik voran. KI ermöglicht eine intelligente Steuerung komplexer Energie- und Verkehrssysteme.

Luft- und Raumfahrt- und Transferunterstützung

KI wird für autonome Navigation, Bildauswertung, Missionsplanung genutzt. Raumfahrt liefert hochwertige Fernerkundungsdaten, die KI-Systeme für Klima-, Umwelt- und Sicherheitsforschung auswerten.

Die Hightech Agenda Deutschland (HTAD) ist der zentrale strategische Rahmen der Bundesregierung für Forschungs- und Innovationspolitik.

Die HTAD, beschlossen im Juli 2025, definiert die Leitlinien, nach denen Deutschland seine technologische Zukunft gestaltet. Sie beantwortet drei zentrale Fragen:

  1. In welchen Bereichen soll Deutschland technologisch führend sein?
  2. Wie lässt sich die Wettbewerbsfähigkeit langfristig sichern?
  3. Und wie bleibt das Land in Schlüsseltechnologien souverän?

Künstliche Intelligenz ist in der HTAD als eine von sechs zentralen Schlüsseltechnologien verankert. Als Querschnittstechnologie durchdringt KI nahezu alle Bereiche, von industrieller Produktion über Gesundheitswesen und Mobilität bis zu öffentlicher Verwaltung.

Mit der Hightech Agenda Deutschland werden die zuvor in der Nationalen KI-Strategie der Bundesregierung formulierten übergreifenden Ziele fortgeschrieben und weiter umgesetzt.

 

Die HTAD verfolgt ambitionierte Ziele für KI in den Bereichen Wirtschaft, Technologie und Gesellschaft. Im Zentrum steht eine klare Zielmarke:

Ziel 1

Bis 2030 sollen rund 10 Prozent der deutschen Wirtschaftsleistung durch KI unterstützt oder direkt erzeugt werden. Deutschland soll zu einem führenden Standort für die Entwicklung und Anwendung von KI werden. Die Arbeitsproduktivität soll erhöht und Künstliche Intelligenz zu einem wichtigen Werkzeug in zentralen Forschungs- und Anwendungsfeldern werden.

Ziel 2

Wissenschaft, Forschung, Wirtschaft, Verwaltung und Gesellschaft sollen messbar besseren Zugang zu KI-Kapazitäten wie Algorithmen, Daten, Rechnern, Softwaretools oder KI-Chips bekommen, um diese nutzen zu können. Hierzu soll beispielsweise eine der europäischen AI Gigafactories in Deutschland entstehen.

Ziel 3

Deutschland soll ein zentraler Player für die nächste KI-Generation und im weltweiten Wettbewerb werden. Dazu sollen u. a. KI-Spitzenzentren für die Forschung gestärkt und vernetzt und Förderprogramme gestartet werden.

Die HTAD bündelt Maßnahmen, um KI von der Forschung in die Anwendung zu bringen. Um die Ziele im KI-Bereich zu erreichen, fasst die Hightech Agenda unterschiedliche Maßnahmen und Förderinstrumente zusammen, die von der Entwicklung neuer KI-Modelle bis zur Unterstützung von Start-ups reichen.

Wichtige Schwerpunkte sind:

KI-Modelle der nächsten Generation

Forschungsverbünde entwickeln leistungsfähige KI-Modelle, die auf europäische Anforderungen zugeschnitten sind und die Forschung voranbringen, beispielsweise in Bezug auf Datenschutz, Sicherheit und Energieeffizienz. Ein Fokus liegt auf sicheren, erklärbaren und ressourcenschonenden Systemen.

Daten- und Recheninfrastruktur

Nationale Rechenzentren und Cloud-Kapazitäten werden ausgebaut und besser zugänglich gemacht. Hierzu soll eine der europäischen AI Gigafactories nach Deutschland kommen. Ein geplantes Forschungsdatengesetz soll regeln, wie Daten verantwortungsvoll geteilt und genutzt werden können.

Kooperationen und Transfer

Die HTAD stärkt Verbundprojekte zwischen Hochschulen, außeruniversitären Instituten, Start-ups, Unternehmen und öffentlichen Einrichtungen. Gefördert werden Transferprojekte und KI-Pilotanwendungen, insbesondere in Schlüsselbranchen.

Unterstützung von KMU

KMU sollen beim Einsatz von KI unterstützt werden, auch mit gezielten KI-Infrastrukturen, wie den KI-Servicezentren.

Gründungs- und Transferunterstützung

Ausgründungen aus der Forschung werden erleichtert und die Förderangebote für KI- und
DeepTech-Start-ups ausgebaut. Dazu gehören auch bessere Rahmenbedingungen für Finanzierung, Wachstum und Skalierung.

Zur Verwirklichung der Ziele der HTAD im Bereich KI und zur Umsetzung, Weiterentwicklung und Ergänzung der genannten Maßnahmen wurde im Herbst 2025 ein Roadmapping-Prozess gestartet.

Dabei sollen mit Akteuren aus Wissenschaft, Wirtschaft, Politik, Ländern und Zivilgesellschaft gemeinsam Meilensteine, Zeitpläne und geeignete Indikatoren entwickelt werden, die regelmäßig überprüft und angepasst werden. Parallel wird ein passendes Monitoring aufgesetzt.

KI ist keine Insel, sondern eng mit anderen Schlüsseltechnologien verflochten. Die Hightech Agenda versteht KI konsequent als Querschnittstechnologie. Sie stärkt andere Schlüsseltechnologien und profitiert gleichzeitig von deren Fortschritten.

Fortschritte insbesondere in der Mikroelektronik, Quantentechnologien, und im Bereich Energie eröffnen neue KI-Anwendungen und erhöhen deren Leistungsfähigkeit, Sicherheit und Effizienz. Umgekehrt treibt KI die Entwicklung dieser und weiterer Technologien voran, etwa durch automatisierte Analysen, Mustererkennung oder Simulationen.

Einige Beispiele:

Mikroelektronik

KI benötigt spezialisierte Hardware, energieeffiziente Chips und Hochleistungsrechner. Europäische Chip-Initiativen schaffen die Grundlage für souveräne skalierbare KI-Modelle, während KI umgekehrt das Design und die Fertigung von Halbleitern optimiert.

Quantentechnologien

Quantencomputer können bestimmte KI-Berechnungen deutlich beschleunigen. KI unterstützt umgekehrt die Quantenforschung, etwa bei Simulationen und Optimierungsaufgaben. Gemeinsam entstehen neue Anwendungen, zum Beispiel in Materialforschung, Logistik oder Kryptographie.

Biotechnologie und Gesundheit

KI ist zentral für personalisierte Medizin, Diagnostik, Wirkstoffentwicklung und die Auswertung großer biomedizinischer Datensätze. Biotechnologische Fortschritte liefern die Datenbasis, KI macht komplexe Muster sichtbar und unterstützt klinische Entscheidungen.

Klimaneutrale Energie & Mobilität

Im Energiesektor hilft KI, Netze, Speicher und Verbrauch zu optimieren. In der Mobilität treibt KI automatisiertes Fahren, Verkehrssteuerung und Logistik voran. KI ermöglicht eine intelligente Steuerung komplexer Energie- und Verkehrssysteme.

Luft- und Raumfahrt- und Transferunterstützung

KI wird für autonome Navigation, Bildauswertung, Missionsplanung genutzt. Raumfahrt liefert hochwertige Fernerkundungsdaten, die KI-Systeme für Klima-, Umwelt- und Sicherheitsforschung auswerten.