Angriff und Verteidigung: Coding Workshop für KI-Nachwuchs zu Security beim verteilten maschinellen Lernen

Die Methode des verteilten maschinellen Lernens verspricht mehr Datenschutz bei KI-Anwendungen, da die verwendeten Daten nicht zentral gebündelt werden, sondern auf den Endgeräten der User verbleiben. Allerdings kann dies auch neue Angriffspunkte für Cyberkriminelle schaffen. Ein praktisches Verständnis dafür zu entwickeln, war Ziel eines Coding Workshops für Studierende und Young Professionals, den die Plattform Lernende Systeme gemeinsam mit dem Systems Security Lab der TU Darmstadt Mitte Februar im IBM Innovation Center in München durchführte.

Hoch über den Dächern von München und mit Blick auf die verschneiten Alpen – die Kulisse für den ganztägigen Coding Workshop beeindruckte nicht nur die 25 Studierenden und Young Professionals, die sich auf Einladung der Plattform Lernende Systeme (PLS) im 21. Stock des IBM Innovation Center eingefunden hatten. Nach der Begrüßung durch Pia Schroeder und Erduana Wald (PLS-Geschäftsstelle) sowie Raphaela Laufs und Andrea Martin (IBM Innovation Center) gab Prof. Dr. Ahmad-Reza Sadeghi, Leiter des System Security Lab der TU Darmstadt und Mitglied der Plattform Lernende Systeme, per Videozuschaltung einen Kurzimpuls. Künstliche Intelligenz sei eine "Goldmine für Security Research", so Sadeghi: "Mit Hilfe von verteiltem maschinellem Lernen lassen sich die Cybersecurity nachhaltig verbessern und Datensätze nutzen, ohne den Datenschutz zu gefährden."  

In die Grundlagen des verteilten maschinellen Lernens (Federated Learning) führte Phillip Rieger, wissenschaftlicher Mitarbeiter am Systems Security Lab, in seinem Vortrag ein. Beim verteilten maschinellen Lernen werden Modelle des maschinellen Lernens dezentral auf Endgeräten statt zentral auf einem Server trainiert. Dies verteilt die Rechenlast und erhöht die Effizienz und Leistungsfähigkeit der Systeme. Zudem bleiben die – häufig personenbezogenen – Trainingsdaten auf den Endgeräten und somit bei den Nutzenden. Dies kann den Schutz persönlicher Daten und die Gewährleistung der informationellen Selbstbestimmung erhöhen. Die Anwendungsbereiche des verteilten maschinellen Lernens sind vielfältig – von der medizinischen Bildverarbeitung über das Aufdecken von Finanzkriminalität und natürlicher Sprachverarbeitung auf Smartphones bis zur Erkennung von Netzwerkangriffen.

Wettrennen aus Angriff und Verteidigung

Allerdings, so Phillip Rieger: Faktoren wie eine heterogene Netzwerkarchitektur sowie heterogene und möglicherweise „vergiftete“ Daten schaffen auch Einfallstore für Angreifer. So können etwa einzelne Rechner unter Kontrolle gebracht werden – per Software oder weil Personen in einer Institution mit den Angreifern kollaborieren. Geschieht das, kann das Gesamtmodell manipuliert werden (Data bzw. Model Poisoning).

In seinem Vortrag skizzierte Phillip Rieger ausführlich mögliche Cyberattacken auf Algorithmen des verteilten maschinellen Lernens sowie Strategien zur Verteidigung gegen Angriffe und beantwortete die zahlreichen Fragen der Studierenden und Young Professionals. Sein Fazit: Aktuell bestehende Cyber-Abwehrmaßnahmen sind unzureichend gegen starke Angreifer. In jüngsten Arbeiten am System Security Lab der TU Darmstadt konnte der Stand der Technik bei der Abwehr von gezielten, so genannten Backdoor-Angriffen jedoch verbessert werden.

Coding Challenge: Vier Stunden volle Konzentration

Nach einer kurzen Mittagspause erhielten die Studierenden und Young Professionals bei einer Führung durch das IBM Innovation Studio einen Einblick in Use Cases KI-basierter Anwendungen. Dann folgte der Startschuss zur Coding Challenge. In einer Reihe von praktischen Übungen sollten die Teilnehmenden zunächst ein einfaches Federated Learning-Szenario implementieren, bei dem die Aufgaben für das Training eines neuronalen Netzwerks verteilt werden. Dessen Ziel: Durchführung einer Bildklassifizierung auf dem in der Forschung häufig genutzten CIFAR10-Datensatz, der aus 60.000 Bildern besteht. Anschließend befassten sich die Teilnehmenden mit verschiedenen Angriffsstrategien und untersuchten Verteidigungsmechanismen zur Abwehr dieser Angriffe. Am Ende wartete eine anspruchsvolle Aufgabe auf sie: das moderne Verteidigungssystem KRUM zu knacken.

Insgesamt vier Stunden tüftelten die Studierenden und Young Professionals hochkonzentriert an ihren Laptops. Bei Fragen unterstützten Phillip Rieger und sein Kollege Alessandro Pegoraro vom Systems Security Lab der TU Darmstadt mit hilfreichen Tipps. Sabrina Gross erzielte als erste eine Lösung, die den avisierten Schwellenwert für einen erfolgversprechenden Cyberangriff (40 Prozent) auf das Verteidigungssystem erreichte. Am Ende der Challenge führte sie den mit Abstand effektivsten Angriff, dessen Erfolgsquote bei über 84 Prozent lag. Die Gewinnerin der Coding Challenge sowie die Platzierten Marco Rubin, Niklas Kopp und Cuong Le erhielten ein kleines Präsent sowie eine Einladung zur nächsten acatech Festveranstaltung im Herbst 2024 in Berlin.