Welche Anforderungen gelten für künftige KI-Medizinprodukte?

Ein Expertenbeitrag von Dr. Jean Enno Charton, Merck KGaA; Prof. Dr. Björn Heismann, Siemens Healthineers; Prof. Dr. Dagmar Krefting, Universität Göttingen; Dr.-Ing. Matthieu-P. Schapranow, HPI

Dr. Jean Enno Charton, Merck KGaA; Prof. Dr. Björn Heismann, Siemens Healthineers; Prof. Dr. Dagmar Krefting, Universität Göttingen; Dr.-Ing. Matthieu-P. Schapranow, HPI und Mitglieder der Plattform Lernende Systeme

Die Nutzung von Künstlicher Intelligenz (KI) in Medizinprodukten trägt bereits heute zu einer besseren Gesundheitsversorgung bei - zum Beispiel in der Bildgebung oder in der Dokumentation. Auch zukünftig bietet dieser Bereich große Potenziale. Seit August 2024 ist die EU-Verordnung 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (KI-Verordnung – KI-VO) in Kraft. Sie soll einen Rechtsrahmen für die verantwortungsvolle Entwicklung und Verwendung künstlicher Intelligenz in der Europäischen Union bilden. Dabei bietet sie potenziell auch eine Grundlage für einen rechtssichere und einheitliche Nutzung von KI in Medizinprodukten. Durch die KI-VO kann die Europäische Union eine internationale Führungsrolle bei der Einführung vertrauenswürdiger KI übernehmen, wenn es gelingt sie zielführend umzusetzen.

Die KI-VO ist als horizontale Regulierung angelegt. Sie erweitert damit im Fall von Medizinprodukten bereits bestehende sektorale Vorgaben zur Produktsicherheit, wie zum Beispiel die 2017 in Kraft getretene EU-Verordnung über Medizinprodukte (Medical Device Regulation - MDR). Dadurch entsteht das Risiko von Überschneidungen und Doppelregulierung, insbesondere, wenn unklar ist, welche der Anforderungen Vorrang haben, weil ein KI-System gleichzeitig als Medizin- und KI-Produkt eingestuft wird.

Schon die Umsetzung der MDR hatte wirtschaftliche Auswirkungen auf die in Deutschland überwiegend durch den Mittelstand geprägte Medizintechnikbranche. Durch die gestiegenen Anforderungen zur Dokumentation haben einige Hersteller die Produktion von Nischenprodukten mit kleinen Absatzmärkten eingestellt oder ins Ausland verlagert.

Ein ähnlicher Effekt muss bei der Umsetzung der KI-VO von vornherein vermieden werden. Stattdessen sollte vielmehr eine innovationsfördernde Ausgestaltung angestrebt werden. Dazu ist nicht nur eine Abstimmung mit bestehenden sektoralen Regelungen notwendig, sondern auch die Ermöglichung neuer Produkte und die zukunftsgewandte Gestaltung der Rahmenbedingungen für KI-Entwicklung generell.

Die KI-VO: Grundlagen und Wechselspiel mit der MDR

Die KI-VO ist auf einem risikobasierten Ansatz zur Regulierung von KI-Systemen aufgebaut. Die Anforderungen an KI-Systeme richten sich entsprechend nach dem potenziellen Risiko für die Sicherheit, die Gesundheit, oder die Grundrechte von Menschen.

In der KI-VO werden die folgenden Risikoklassen unterschieden:

  1. Verbotene Praktiken im KI-Bereich (Art. 5 KI-VO),
  2. Hochrisiko-KI-Systeme (Art. 6. KI-VO),
  3. KI-Systeme mit begrenztem Risiko (Art. 50 KI-VO), sowie
  4. KI-Systeme ohne wesentliche Risiken.

Der Einsatz von KI-Systeme, die der Klasse A zuzuordnen sind, ist durch die KI-VO grundsätzlich verboten. KI-Systeme der Klasse B müssen ein mehrstufiges Prüfungsverfahren durchlaufen, bevor sie in Betrieb genommen werden dürfen. Ferner sind weitere Überprüfungen während ihrer Lebensdauer erforderlich. Für KI-Systeme der Klasse C gelten hauptsächlich Transparenzverpflichtungen gegenüber Nutzenden. KI-Systeme, die keiner der Klassen A-C zuzuordnen sind, gelten als KI-Systeme ohne wesentliche Risiken und unterliegen keinen gesonderten Vorschriften nach der KI-VO.

Schauen wir uns im Folgenden konkrete Anforderungen für Medizinprodukte mit KI-Einsatz an. Medizinprodukte mit KI können aus den folgenden Gründen von den Regelungen der KI-VO betroffen sein:

  • Das Medizinprodukt mit KI erfordert für die Zulassung ein Konformitätsbewertungsverfahren nach MDR.
  • Das KI-System selbst ist das Medizinprodukt.
  • Das KI-System ist Teil eines Sicherheitsbauteils in einem Medizinprodukt.

Bei der Entwicklung und Zertifizierung eines Medizinprodukts mit KI können sich Anforderungen aus der KI-VO und der MDR teilweise überschneiden. Die KI-VO bringt aber auch neue Anforderungen mit sich, die über die der MDR hinaus gehen. Beispielsweise erfordern beide Verordnungen ein Risikomanagementsystem und eine CE-Kennzeichnung für das jeweilige Produkt; durch die KI-VO wird aber auch zusätzlich unter anderem die Einführung einer Daten-Governance und die Möglichkeit für automatisch erzeugte Protokolle im Betrieb gefordert.

Offene Punkte bei der Umsetzung der KI-VO

Die KI-VO hat vor allem zwei Ziele – Innovationsförderung auf der einen und Produktsicherheit auf der anderen Seite. Um diese Ziele im Kontext von Medizinprodukten zu erreichen, sind noch einige Punkte offen. Ausgehend von den beschriebenen Überschneidungen zwischen der KI-VO und der MDR sollte die Auslegung zentraler Inhalte und Begriffe in den Regulierungen aufeinander abgestimmt werden. Dies betrifft zum Beispiel die in beiden Verordnungen geforderte technische Dokumentation zu Produkten oder den Begriff der „wesentlichen Änderungen“ an Produkten; dieser Begriff dient als Kriterium für eine notwendige Rezertifizierung von Produkten. Gerade der Einsatz von kontinuierlich lernenden Systemen in Medizinprodukten, die durch Nutzerfeedback und Zugang zu immer neuen Daten verbessert werden sollen, würde durch erforderliche Rezertifizierungen ausgebremst.

Daher wurden bei der Ausgestaltung der KI-VO auch künftige technische Möglichkeiten und Entwicklungen im Bereich KI bedacht. Aktuell enthalten Medizinprodukte mit KI zumeist statische KI-Systeme, die mit einem definierten Entwicklungsstand zertifiziert werden und nach Änderungen im KI-System rezertifiziert werden müssen. Im Gesundheitswesen könnten aber gerade kontinuierlich lernende Systeme Fachkräfte zum Beispiel bei der Erstellung von Diagnosen besser unterstützen als statische Systeme. Denn durch die kontinuierliche Weiterentwicklung könnte ein solches Modell seine bereits erlernten Aufgaben stetig verfeinern und an die jeweilige Arbeitspraxis anpassen oder sogar schrittweise neue Aufgaben erlernen.

Die KI-VO definiert konkrete Möglichkeiten für das Inverkehrbringen von kontinuierlich lernenden Systemen. Dafür muss der Anbieter eines solchen kontinuierlich lernenden Systems bereits im Rahmen der initialen Konformitätsbewertung festlegen, welche Änderungen der Leistung des Systems im laufenden Betrieb möglich sind. Dabei dürfen diese Änderungen keine nachteiligen Auswirkungen auf die Nutzung des Systems oder die ursprüngliche Risikobewertung haben. In anderen Ländern gibt es hier schon Entwicklungen dazu, so zum Beispiel durch die US-amerikanische Aufsichtsbehörde FDA in Form des Predetermined Change Control Plan (PCCP), also eines im Vorhinein festgelegten Plans zur Kontrolle von Änderungen am Produkt.

Weiterführende Informationen

Whitepaper „KI in der Robotik. Flexible und anpassbare Systeme durch interaktives Lernen“ der Plattform Lernende Systeme

Über die Autorin

Prof. Dr. rer. nat. Elsa Andrea Kirchner ist seit 2021 Professorin der Universität Duisburg-Essen und leitet dort an der Fakultät für Ingenieurswissenschaften das Fachgebiet "Systeme der Medizintechnik". Am Robotics Innovation Center des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) in Bremen, wo sie lange Jahre tätig war, leitet sie zudem das Team „Intelligent Healthcare Systems“. Nach Ihrem Studium der Biologie legte Elsa Kirchner mit einem Forschungsaufenthalt am Department of Brain and Cognitive Sciences am MIT in Boston/USA das Fundament ihrer interdisziplinären Forschung. Ihre Promotion in der Informatik wurde 2014 als eine der jahresbesten von der Gesellschaft für Informatik ausgezeichnet. Für den Forschungstransfer engagiert sich Elsa Kirchner als Gründungsmitglied im Netzwerk "Space2Health" des DLR-Raumfahrtmanagements. Im April 2023 wurde sie in den Rat für technologische Souveränität des BMBF berufen. Elsa Kirchner ist Co-Leiterin der Arbeitsgruppe “Lernfähige Robotiksysteme” der Plattform Lernende Systeme.

Zusatzmaterial

Beitrag erschienen in:

Management & Krankhaus
Juni 2025

Zurück