Audit-Trail für KI-Systeme

Ein Audit-Trail beantwortet eine einzige Frage, aber die zählt: Warum hat das System in diesem konkreten Fall so entschieden? Bei klassischer Software ist die Antwort der Programmcode. Bei einem KI-System hängt sie zusätzlich am Modellstand, am mitgegebenen Kontext, an der Formulierung der Anfrage und an den Daten, die zum Zeitpunkt der Anfrage verfügbar waren. Fehlt eines dieser Stücke, ist ein Vorgang im Nachhinein nicht rekonstruierbar und damit auch nicht verteidigbar.

Belastbar wird ein Audit-Trail durch vier Bestandteile: die vollständige Eingabe samt zugespieltem Kontext, die Kennung des Modells und seiner Version, die Ausgabe vor jeder Nachbearbeitung, und die Angabe, wer sie freigegeben hat oder ob sie ohne Prüfung gewirkt hat. Der vierte Punkt wird am häufigsten weggelassen und ist der wichtigste, denn er unterscheidet einen Vorschlag von einer Entscheidung.

Der Zeitpunkt ist der andere kritische Punkt. Ein Audit-Trail, der nach dem ersten Vorfall eingebaut wird, kann den Vorfall nicht erklären, und genau dafür wird er gebraucht. Protokollierung gehört deshalb zur Inbetriebnahme und nicht in die Ausbaustufe. Der Aufwand dafür ist überschaubar. Der Aufwand, eine getroffene Entscheidung ohne Protokoll zu rekonstruieren, ist es nicht.

Dem steht der Datenschutz nicht entgegen, er formt ihn. Ein Protokoll, das vollständige Eingaben speichert, enthält potenziell personenbezogene Daten und braucht deshalb eine Aufbewahrungsfrist, eine Zugriffsbeschränkung und einen Löschweg wie jeder andere Datenbestand auch. Ein unbefristetes Vollprotokoll ist kein Sicherheitsgewinn, sondern ein zusätzliches Risiko.

Bei agentischen Systemen kommt eine Schicht dazu. Ein Agent, der mehrere Schritte selbst plant und Werkzeuge aufruft, erzeugt eine Kette von Entscheidungen. Hier reicht es nicht, die letzte Ausgabe zu protokollieren. Nachvollziehbar wird ein solcher Ablauf erst, wenn jeder Werkzeugaufruf mit seinem Ergebnis festgehalten ist.

Was ein Kundenaudit am Ende sehen will, ist übrigens selten das vollständige Protokoll. Gefragt ist der Nachweis, dass es eines gibt, dass daraus ein einzelner Vorgang rekonstruierbar ist und dass jemand benannt ist, der das kann. Wer diese drei Punkte in einer halben Stunde vorführen kann, hat das Audit hinter sich. Wer erst suchen muss, hat ein Problem, das nicht mehr technisch ist.

Die Artikel unten behandeln den Aufbau im Einzelnen, die Fehleranalyse in Agentensystemen und die Frage, was ein Kundenaudit tatsächlich sehen will.