KI-Agenten überwachen, ohne sie auszubremsen

Nicht die Antwort ist das Ereignis, das du protokollieren musst

Klassisches Logging schreibt Eingabe und Ausgabe. Bei einem Agenten steckt genau dazwischen alles, was zählt. Ein Lauf besteht aus einer Folge von Entscheidungen, Werkzeugaufrufen, Rückgaben und Neubewertungen, und wenn am Ende etwas Falsches herauskommt, liegt der Fehler fast nie in der letzten Zeile. Er liegt drei Schritte vorher, bei einer Suchanfrage, die nichts gefunden hat, oder bei einem Werkzeug, das leer zurückkam und dessen leere Antwort danach als Tatsache weiterverarbeitet wurde.

Praktisch heißt das: eine Kennung pro Lauf, die durch jeden nachgelagerten Aufruf durchgereicht wird, und pro Werkzeugaufruf ein Eintrag mit Name, übergebenen Parametern, Rückgabe, Dauer und Status. Diese Kennung gehört auch in die Datensätze, die der Agent schreibt. Sonst siehst du zwar eine falsche Buchung, findest aber den Lauf nicht mehr, der sie erzeugt hat.

Grenzen, die vor der ersten Rechnung greifen

Ein Agent kann sich in Schleifen drehen: Werkzeug aufrufen, Ergebnis unbefriedigend, dasselbe Werkzeug leicht anders aufrufen. Ohne Obergrenze läuft das, bis es jemandem auffällt, und die Rechnung kommt am Monatsende. Setz drei Grenzen von Anfang an, eine maximale Zahl an Schritten pro Lauf, ein Zeitlimit und ein Budget in Verbrauchseinheiten. Beim Erreichen bricht der Lauf definiert ab und hinterlässt einen Eintrag mit dem Grund, keine halbfertige Wirkung.

Die Obergrenze ist gleichzeitig ein Messinstrument. Wenn ein wachsender Anteil der Läufe am Schrittlimit endet statt am Ziel, hat sich etwas an den Eingangsdaten oder am Zielsystem verändert. Das ist ein Frühindikator, der oft zuverlässiger anschlägt als die reine Fehlerquote.

Freigabe vor jeder Aktion, die du nicht zurücknehmen kannst

Trenn die Werkzeuge in zwei Klassen, solche die nur lesen und solche die etwas verändern. Lesende Werkzeuge darf der Agent frei aufrufen. Bei verändernden gilt je Werkzeug eine Regel, ob eine Zustimmung nötig ist, und die Zustimmung bezieht sich auf den konkreten Aufruf mit seinen Parametern, nicht pauschal auf den ganzen Lauf. Eine Mail an einen Kunden, eine Zahlung, ein Löschvorgang und jeder Eintrag im führenden System gehören immer in diese zweite Klasse.

Damit das im Betrieb funktioniert, muss der Lauf an dieser Stelle stehen bleiben und später weiterlaufen können, ohne von vorn zu beginnen. Der Zustand des Laufs muss also dauerhaft gespeichert sein und nicht nur im Arbeitsspeicher des Prozesses liegen. Workflow-Engines wie Temporal sind für genau diese dauerhafte Ausführung gebaut, und Agenten-Frameworks wie LangGraph speichern den Zustand zwischen und halten dafür einen definierten Unterbrechungspunkt bereit.

Wiederanlauf ist die Stelle, an der doppelte Buchungen entstehen. Jeder verändernde Aufruf braucht deshalb einen Schlüssel, der ihn eindeutig macht, damit ein zweiter Versuch mit demselben Schlüssel als Wiederholung erkannt und nicht erneut ausgeführt wird.

Messen, was gut ging, nicht nur was abgestürzt ist

Die gefährlichen Läufe sind die, die keinen Fehler werfen. Der Agent liefert eine plausible Antwort, die falsch ist, das System meldet Erfolg. Deshalb reicht eine Fehlerquote nicht aus. Zieh eine feste Stichprobe abgeschlossener Läufe pro Woche und lass sie von jemandem bewerten, der den Vorgang fachlich beherrscht. Die Quote aus dieser Stichprobe ist die einzige Zahl, die etwas über die Qualität aussagt.

Daneben tragen drei Verlaufsgrößen: der Anteil der Läufe, die einen menschlichen Eingriff gebraucht haben, die durchschnittliche Zahl der Schritte pro Lauf und die Kosten pro abgeschlossenem Vorgang. Alle drei sollten über Wochen stabil sein. Eine Bewegung darin ist ein Hinweis, bevor die ersten Beschwerden kommen.

Halte außerdem einen Satz fester Testfälle mit bekannter richtiger Antwort bereit und lass ihn bei jedem Modellwechsel und jeder Änderung am Systemprompt durchlaufen. Anbieter aktualisieren ihre Modelle, und ein Verhalten, das gestern richtig war, kann sich verschieben, ohne dass bei dir jemand etwas geändert hat.