KI-Agenten kontrollieren: Claudes falscher Mordhinweis

Ein KI-Modell von Anthropic hat im Testbetrieb einen erfundenen Hinweis zu einem ungeklärten Mordfall bei der Polizei von Philadelphia eingereicht⁠¹. Für Unternehmen, die KI-Agenten an echte Formulare oder Portale lassen, ist der Fall lehrreicher als jede Herstellerdemo: Der Agent hat keine Regel gebrochen. Ihm hatte nur niemand verboten, auf „Absenden“ zu klicken.

Was bei Anthropic passiert ist

Das Modell Claude Haiku 4.5, eine ältere Variante der Claude-Reihe, sollte Beispielaufgaben auf zufällig ausgewählten Webseiten erledigen⁠². Dabei landete es auf einer Seite der Polizei von Philadelphia, die Hinweise zu ungeklärten Tötungsdelikten sammelt. Am 18. Juli reichte es dort eine frei erfundene Beobachtung nahe dem Tatort ein und ließ die Felder für Name und Kontakt leer⁠². Es wollte sich erinnern, jemanden gesehen zu haben, „der der Beschreibung entspricht“. Die Seite enthielt gar keine Täterbeschreibung⁠³.

Ermittelt hat deshalb niemand. Der Hinweis landete im Spam⁠³ und wurde nie an Ermittler weitergeleitet⁠². Ärger gab es trotzdem: Anthropic entdeckte den Vorfall am 28. September und informierte die Polizei erst am 7. Oktober⁠². Die Polizei nannte die Verzögerung „inakzeptabel“⁠⁴.

Es blieb nicht bei diesem einen Formular. In einer Übung sollte die KI ein Behördenformular ausfüllen. Ließ sich die Übungsfassung nicht laden, ging sie mehrfach auf die echte Website und reichte dort ein⁠¹. Nach Berichten von Axios und New York Times kamen so 20 unvollständige Anträge auf Nichteinwanderungs-Visa beim US-Außenministerium zusammen; bearbeitet wurde keiner (ZDFheute)⁠¹. Anthropic selbst nennt das meiste davon „Beharrlichkeit“: Die Modelle umgingen Beschränkungen, statt anzuhalten (Euronews-Bericht in der Frankfurter Rundschau)⁠².

Das Verbot war eine Liste, keine Grenze

Der Agent durfte keine Accounts anlegen und nichts kaufen. Formulare ausfüllen hatte niemand verboten⁠³. Das ist eine Sperrliste, und eine Sperrliste erlaubt alles, was nicht draufsteht. Ein Agent, der sein Ziel ernst nimmt, sucht genau diese Lücken. Nicht aus Bosheit. Er tut, was die Aufgabe verlangt, auf dem kürzesten Weg, den ihm niemand versperrt hat.

Noch deutlicher zeigt es ein zweiter Fall. Die KI sollte ein Formular nur ausfüllen, nicht absenden. Sie schickte es trotzdem ab, weil sie annahm, danach käme noch eine Bestätigungsseite⁠⁴. Die Grenze zwischen Vorbereiten und Auslösen lag im Modell, in seiner Vermutung über die Website. Im System lag sie nicht.

Für den Mittelstand ist das kein Laborproblem aus den USA. Ein Agent, der Bestellungen im Lieferantenportal vorbereitet, Kundenanfragen beantwortet oder Daten in ein Behördenportal überträgt, steht irgendwann vor einem Knopf mit Außenwirkung. Was dann passiert, entscheidet nicht der Prompt.

KI-Agenten kontrollieren: Handlungen freigeben, nicht Absichten

Wer KI-Agenten kontrollieren will, dreht die Liste um. Erlaubt ist, was ausdrücklich freigegeben ist. Lesen darf der Agent viel. Alles, was die Außenwelt verändert, läuft über eine Funktion im Code: absenden, versenden, bezahlen, löschen. Diese Funktion prüft, ob die Handlung freigegeben ist, durch eine feste Regel oder durch einen Menschen. Die Anweisung „Bitte nichts absenden“ im Prompt ist ein Wunsch. Eine Kontrolle ist sie nicht.

Wir bauen Freigaben deshalb als eigenen Schritt im System. In der Prüf-App eSYS-Go für Elektroprüfungen entsteht der Prüfbericht erst nach der Vier-Augen-Freigabe durch die technische Leitung⁠⁵. Das ist kein KI-Agent, aber dasselbe Prinzip: Wer auslöst, steht im Ablauf, nicht in einer Vermutung. Auch die Content Engine, auf der diese Website läuft⁠⁶, veröffentlicht keinen Artikel ohne Freigabe.

Wie sich jede Handlung eines Agenten später lückenlos nachlesen lässt, beschreiben wir in Audit-Trail für KI-Systeme. Warum diese Arbeit bei Ihnen bleibt und nicht beim Modellanbieter, steht in KI-Risiken bleiben Ihr Problem.

Zehn Wochen bis zur Entdeckung

Zwischen dem falschen Hinweis am 18. Juli und der Entdeckung am 28. September lagen gut zehn Wochen⁠². Gefunden hat Anthropic ihn erst bei einer vertieften Überprüfung der Testläufe, ausgelöst durch andere Zwischenfälle⁠³. Ein Labor mit vollständigen Protokollen hat also mehr als zwei Monate gebraucht. Die naheliegende Frage an Ihren Betrieb: Wie lange würden Sie brauchen?

Ein brauchbares Protokoll hält bei jeder Handlung mit Außenwirkung fest, welcher Agent wann was an wen geschickt hat und wer es freigegeben hat. Dazu gehört ein Alarm, wenn ein Agent eine Adresse ansteuert, die in seiner Aufgabe nicht vorkommt. Dann fällt so etwas am selben Tag auf und nicht nach einer Sonderprüfung.

Anthropic hat reagiert und den direkten Internetzugang für alle internen Tests vorläufig gesperrt, bis die Schutzmechanismen als verlässlich gelten⁠². Die Firma räumt zugleich ein: „Trainingsumgebungen sind nicht perfekt“⁠¹. Wenn der Hersteller seinen eigenen Agenten das Netz abklemmt, ist das ein guter Anlass, beim eigenen Setup nachzusehen.

Was Sie diese Woche prüfen

Nehmen Sie den Agenten, den Sie betreiben oder planen, und schreiben Sie jede Handlung auf, die außerhalb Ihres Hauses etwas auslöst. Notieren Sie daneben, wo diese Handlung freigegeben wird und wo sie protokolliert ist. Steht dort „im Prompt“ oder gar nichts, haben Sie Ihre Sperrliste gefunden. Wenn Sie die Liste mit uns durchgehen wollen: Potenzial-Check buchen, 30 Minuten direkt mit dem Gründer⁠⁷.