LLM-Antworten messen statt hoffen

Das Testset ist die eigentliche Arbeit

Die Fälle kommen nicht aus der Fantasie, sondern aus dem Betrieb: echte Anfragen aus dem Support, Fragen aus der Fachabteilung, die Fälle, an denen das System zuletzt gescheitert ist. Zu jedem Fall gehört eine Sollantwort oder mindestens eine Liste von Punkten, die vorkommen müssen, und eine Liste von Aussagen, die nicht vorkommen dürfen.

Misch bewusst drei Sorten: Standardfälle, die immer funktionieren müssen, Randfälle mit dünner Quellenlage, und Fälle ohne Antwort im Bestand, bei denen die richtige Ausgabe ein klares Fehlen ist. Wer nur Standardfälle sammelt, misst am Ende, wie gut das System das kann, was ohnehin klappt.

Halte das Testset getrennt von den Beispielen, die in Prompts oder Trainingsdaten landen. Sobald Testfälle in die Entwicklung zurückfließen, misst du nicht mehr Qualität, sondern Auswendiglernen.

Was du überhaupt misst

Sinnvoll sind wenige Kennzahlen mit klarer Bedeutung. Faktische Korrektheit prüft, ob die geforderten Aussagen enthalten und richtig sind. Quellentreue prüft, ob jede Aussage durch die vorgelegten Auszüge gedeckt ist, das fängt genau die erfundenen Zusätze ab. Vollständigkeit prüft, ob nichts Gefordertes fehlt. Form prüft Länge, Aufbau und Anrede.

Bei angebundenen Quellen lohnt es sich, den Suchschritt getrennt zu bewerten. Wenn der richtige Absatz gar nicht vorgelegt wurde, ist die Formulierung nicht das Problem. Diese Trennung erspart lange Diskussionen über Prompts, die an der falschen Stelle ansetzen.

Automatisch bewerten, ohne sich zu belügen

Für die Masse der Fälle bewertet ein Modell die Ausgaben, entlang einer Kriterienliste mit klaren Stufen und einer Begründung je Urteil. Das funktioniert brauchbar, wenn die Kriterien eng formuliert sind und die Referenzantwort mitgeliefert wird. Es funktioniert schlecht bei Geschmacksfragen und bei Fachurteilen, die auch Menschen unterschiedlich fällen.

Prüf die automatische Bewertung selbst nach. Nimm eine Stichprobe, lass sie von Fachleuten beurteilen und vergleiche mit dem Urteil der Maschine. Weichen beide systematisch ab, korrigierst du die Kriterien, nicht die Erwartung. Ohne diesen Abgleich hast du eine Zahl, die dir nur sagt, was ein Modell über ein Modell denkt.

Ein bekanntes Muster ist, dass bewertende Modelle längere und höflichere Antworten besser benoten. Wenn Kürze zu deinen Anforderungen gehört, muss sie ausdrücklich als Kriterium dastehen, sonst gewinnt der ausführlichere Text.

Der Durchlauf gehört in die Routine

Eine Evaluation, die man einmal macht, beantwortet eine Frage. Eine Evaluation, die bei jeder Änderung läuft, verhindert Rückschritte. Sinnvolle Auslöser sind Änderungen am Systemprompt, ein Wechsel von Modell oder Modellversion, Änderungen an Zerlegung und Suche sowie größere Aktualisierungen am Datenbestand.

Halte die Ergebnisse mit Zeitstempel, Modellbezeichnung und Konfiguration fest. Erst der Verlauf zeigt, ob eine Verschlechterung an der letzten Änderung liegt oder länger schwelt. Für den Vergleich reicht ein Bericht pro Durchlauf mit Gesamtwert, Werten je Kennzahl und den Fällen, die neu durchgefallen sind.

Menschliche Prüfung dort, wo sie zählt

Manuelle Bewertung ist teuer, deshalb gehört sie an die Stellen mit dem größten Schaden: rechtlich heikle Auskünfte, Aussagen mit Außenwirkung, Fälle, bei denen die Automatik unsicher war. Zwei unabhängige Urteile pro Fall zeigen schnell, ob die Kriterien überhaupt eindeutig sind. Sind sich zwei Fachleute uneinig, wird auch kein Modell das Kriterium erfüllen können.