Wenn ein Modell unbemerkt schlechter wird

Zwei Arten von Drift, zwei Reaktionen

Bei Datendrift verschiebt sich die Verteilung der Eingaben. Ein neuer Vertriebskanal bringt andere Kundenprofile, ein Formularfeld wird optional und kommt plötzlich leer an, eine Einheit oder Währung ändert sich. Das Modell rechnet weiter, aber es rechnet auf Daten, die es so nie gesehen hat.

Bei Konzeptdrift bleiben die Eingaben ähnlich, aber ihre Bedeutung ändert sich. Was im letzten Jahr ein zuverlässiges Warnsignal für einen Zahlungsausfall war, kann nach einer Änderung der Zahlungsbedingungen harmlos sein. Hier hilft kein Nachjustieren der Datenaufbereitung, hier braucht es neue Beispiele mit den neuen richtigen Antworten.

Die Unterscheidung ist keine Theorie, sie entscheidet über die Maßnahme. Datendrift führt oft zurück zu einer Änderung im Vorsystem, die sich beheben lässt. Konzeptdrift führt fast immer zu einem Nachtraining.

Woran du es merkst, bevor es jemand meldet

Der direkteste Weg wäre der Vergleich von Vorhersage und tatsächlichem Ergebnis, nur liegt dieses Ergebnis oft erst Wochen später vor. Deshalb braucht es Frühindikatoren auf der Eingabeseite: die Verteilung der wichtigsten Merkmale im Vergleich zum Trainingszeitraum, den Anteil fehlender Werte, den Anteil unbekannter Kategorien und die Verteilung der Ausgaben selbst.

Ein oft übersehenes Signal ist das Verhalten der Leute, die mit den Ergebnissen arbeiten. Wenn der Anteil übersteuerter Empfehlungen steigt, wenn ein Team anfängt, Ergebnisse von Hand nachzurechnen, oder wenn die Rückfragen zunehmen, ist das eine Messung, auch wenn sie in keinem Diagramm steht.

Ebenso aufschlussreich ist der Anteil der Fälle, die knapp an der Entscheidungsschwelle liegen. Steigt er, wird das Modell unsicherer, noch bevor sich der Gesamtwert bewegt.

Was dauerhaft im Blick bleibt

Eine brauchbare Überwachung besteht aus wenigen Werten, die jemand tatsächlich ansieht: die Verteilung der Eingabemerkmale gegen eine feste Referenz aus dem Trainingszeitraum, die Verteilung der Ausgaben, die Rate der Fälle, die durch Plausibilitätsregeln fallen, und, sobald verfügbar, die Trefferquote gegen das echte Ergebnis.

Wichtig ist die Referenz. Ohne einen eingefrorenen Vergleichszeitraum vergleichst du diese Woche mit der letzten und siehst eine langsame Verschiebung nie, weil sie in jedem einzelnen Schritt klein bleibt. Halte deshalb einen Referenzdatensatz fest und vergleiche immer gegen ihn.

Alarme brauchen einen Adressaten und eine Handlungsanweisung. Ein Schwellwert, bei dem nur eine Mail an einen Verteiler geht, erzeugt nach drei Monaten nichts weiter als Rauschen.

Wann ein Nachtraining fällig ist

Nicht jede Verschiebung verlangt ein neues Modell. Prüf zuerst, ob es eine Erklärung im Vorsystem gibt, also eine geänderte Schnittstelle, einen neuen Datenlieferanten, eine Umstellung im Formular. Solche Fälle repariert man an der Quelle, ein Nachtraining würde den Fehler nur einbacken.

Für ein Nachtraining spricht, wenn die Trefferquote gegen echte Ergebnisse dauerhaft sinkt, wenn sich der fachliche Zusammenhang nachweislich geändert hat oder wenn neue Kategorien dazugekommen sind, die das Modell nie gesehen hat. Voraussetzung sind genug frisch beschriftete Beispiele, sonst trainierst du auf einem Bestand, in dem genau die Wirklichkeit fehlt, um die es geht.

Plane das Nachtraining wie einen normalen Rollout, mit Auswertung gegen dieselben Testfälle wie beim letzten Stand. Ein Modell, das die neuen Fälle besser trifft und die alten schlechter, ist keine Verbesserung, sondern eine Verschiebung.

Drift bei zugekauften Sprachmodellen

Bei zugekauften Modellen driftet nicht dein Modell, sondern der Dienst darunter. Anbieter tauschen Versionen aus, ändern Voreinstellungen und stellen ältere Stände ab, und dein Prompt trifft danach auf ein anderes Verhalten. Angekündigt wird das selten so, dass es im Betrieb auffällt, und einen Fehlercode gibt es dafür nicht.

Der Schutz ist derselbe wie bei eigenen Modellen: ein festes Testset, das regelmäßig läuft, und, wenn der Anbieter es zulässt, eine festgepinnte Modellversion mit geplantem Wechseltermin statt eines automatischen Sprungs.