Gegenwärtig sehen wir eine ausgeprägte Dynamik bei der Entwicklung großer neuronaler Netzwerke wie GPT-3 von OpenAI, Gato von Deepmind oder LaMDA von Google. Was macht sie so besonders und wie schätzen Sie die Entwicklung ein?
Stefan Wrobel: Die großen neuronalen Netze, oft als Foundation Models bezeichnet, sind in der Tat eine äußerst signifikante Entwicklung im maschinellen Lernen und in der Künstlichen Intelligenz. Viele bisherige Anwendungen des maschinellen Lernens beruhen auf der Nutzung von vorklassifizierten Trainingsbeispielen, aus denen dann ein entsprechendes Vorhersagemodell überwacht gelernt wird. Solche vorklassifizierten Daten sind in der Regel nur sehr begrenzt verfügbar. Demgegenüber sind Foundation Models das Resultat einer langen Entwicklung und vieler Arbeiten zum unüberwachten Training von neuronalen Netzen. Mit der Verfügbarkeit solcher Architekturen haben wir die Möglichkeit, uns nicht nur auf vorklassifizierte Daten zu stützen, sondern können Modelle auch mit dem fast unbegrenzt verfügbaren Material trainieren, das wir in existierenden Texten, Bildern oder zunehmend auch Videos finden. Da es gleichzeitig gelungen ist, die entsprechenden Architekturen auch skalierbar auf hochleistungsfähigen Computersystemen umzusetzen, ist es mittlerweile möglich, Modelle zu trainieren, die über 500 Milliarden Parameter umfassen. Diese Parameteranzahl ermöglicht den Modellen, eine enorme Menge an Informationen nicht nur zu absorbieren, sondern sie durch die Art ihres Trainings auch geeignet neu repräsentiert zu speichern und miteinander zu verknüpfen. Dies funktioniert mittlerweile auch über unterschiedliche Modalitäten (Text, Bild, Video) hinweg und ermöglicht intelligent erscheinende Leistungen, die wir noch vor Kurzem für unmöglich gehalten haben – sei es bei der Beantwortung von Fragen, die implizit logische Inferenz erfordern, beim Verfassen von Texten oder sogar bei der Erzeugung von fotorealistischen Bildern. Dies ist ein sehr signifikanter Schritt für alle, die maschinelles Lernen einsetzen – denn wir bewegen uns weg von hochspezialisierten, auf eine einzige Aufgabe trainierten Modellen zu eben jenen Foundation Models, die in grundlegender Weise zu einer Vielfalt von Aufgaben beitragen werden und ohne die man vermutlich auch bald entsprechende Systeme nicht mehr entwickeln wollen wird.
Die Entwicklung großer neuronaler Netze benötigt viele Ressourcen und Know-how. Ist hier eine Marktkonzentration zu erwarten, ähnlich wie bei der Internetsuche und bei sozialen Netzwerken?
Stefan Wrobel: Ein wesentliches Element der beeindruckenden aktuellen Leistungen solcher Modelle liegt in der Skalierung – sowohl was die Größe der zum Training verwendeten Datenbestände als auch die Zahl der Parameter der Modelle betrifft. Es ist schwer vorstellbar, dass das Training solcher Modelle auch von kleineren Organisationen und Unternehmen geleistet werden kann. Die Wirtschaft wird also darauf angewiesen sein, solche großen Modelle von entsprechenden Anbietern zu beziehen und sie in ihre eigenen KI-Systeme und -Anwendungen zu integrieren. Wir können also nicht ausschließen, dass sich auch hier eine Marktsituation entwickeln wird, in der nur wenige große Anbieter über die Ressourcen, das Know-how und die Möglichkeiten verfügen, solche Modelle zu trainieren. Gleichzeitig ist der technische Fortschritt gewaltig, auch im akademischen Bereich, so dass weitere Entwicklungen ähnliche Ergebnisse auch mit deutlich kleineren Modellen möglich machen könnten. Dennoch ist es natürlich gut und wichtig, dass beispielsweise Deutschland in diesem Bereich investiert. Mit dem OpenGPT-X-Projekt haben wir ein starkes Konsortium am Start, zu dem nicht nur große Provider gehören, sondern auch leistungsfähige Partner im Bereich des High Performance Computing. Auch jenseits von OpenGPT-X gibt es Anstrengungen, Alternativen zu den aktuell bekannten großen Modellen zu schaffen. Hier werden in Deutschland sicher auch die gerade verstetigten KI-Kompetenzzentren eine wichtige Rolle spielen.
Einige dieser großen Netzwerke sind nicht mehr nur auf eine Tätigkeit festgelegt. Befinden wir uns damit auf dem Weg zu einer generellen Künstlichen Intelligenz?
Stefan Wrobel: Die aktuellen großen Modelle stellen sicherlich einen wichtigen Schritt dar, um die auf nur eine Aufgabe trainierten bisherigen Systeme hinter uns zu lassen – und zu Systemen zu kommen, die in unterschiedlichen Kontexten einsetzbar sind und allgemein trainiert werden. Als generelle Künstliche Intelligenz würden wir vermutlich Systeme bezeichnen, die sich in geeigneten Tests als in zu definierender Weise äquivalent zur menschlichen Intelligenz erweisen oder ihr sogar überlegen sind. Der klassische Turing-Test verlangt, dass ein Mensch in einem Chat nicht mehr feststellen kann, ob er mit einer KI oder einem Menschen chattet. Hier sehen wir aktuell bereits, dass dieser Test vermutlich nicht mehr ausreichen wird, denn die menschliche Tendenz, in einem Gegenüber menschliche Züge zu entdecken, kann hier leicht in die Irre führen. Wenig überraschend also, dass es schon erste KI-Forscher gibt, die glauben, in den Antworten eines ganz offensichtlich technischen Systems Bewusstsein entdeckt zu haben. Unabhängig von der Frage, wie genau man nun Bewusstsein oder allgemeine Intelligenz definieren möchte, zeigt dies deutlich, dass wir gut daran tun, uns mit den ethischen Prinzipien für den Einsatz solcher Systeme frühzeitig und intensiv zu beschäftigen.
Das Interview ist für eine redaktionelle Verwendung freigegeben (bei Nennung der Quelle © Plattform Lernende Systeme).