Mit zunehmender Autonomie agentischer Systeme verändern sich auch die Anforderungen an die Erklärbarkeit. Während Verfahren der Explainable Artificial Intelligence (XAI) traditionell einzelne Modellvorhersagen erklären, etwa mithilfe von Attributionsverfahren oder konzeptbasierten Erklärungen, entsteht das Verhalten agentischer Systeme aus dem Zusammenspiel von Basismodell, Gedächtnis, Planung, Werkzeugnutzung und einer dynamischen Umgebung. Entscheidungen sind damit Teil längerer Handlungs- und Schlussfolgerungsketten und lassen sich nicht mehr auf einzelne Modellberechnungen reduzieren.

Im Mittelpunkt steht daher zunehmend die Erklärbarkeit auf der Ebene des Agentenverhaltens. Hierzu gehören insbesondere die Nachvollziehbarkeit der Herkunft von Informationen (Provenance), der Nutzung von Gedächtnis, Werkzeugen und Kommunikation sowie die Analyse, wie sich Fehler oder Halluzinationen über mehrere Handlungsschritte ausbreiten. Solche Verfahren bilden eine wichtige Grundlage für Monitoring und Sicherheitsanalysen agentischer Systeme.

Zunehmend werden Erklärungen nicht nur zur Analyse, sondern auch zur Steuerung agentischer Systeme genutzt. Die Nachvollziehbarkeit interner Informationsflüsse ermöglicht es, Wissensquellen gezielt zu kontrollieren, Planungsprozesse zu beeinflussen sowie Sicherheits- und Compliance-Regeln während der Laufzeit durchzusetzen. Erklärbarkeit entwickelt sich damit von einem Werkzeug der Diagnose zu einem Baustein für Monitoring, Kontrolle und Alignment agentischer Systeme.

Juli 2026