Ein Prototyp mit fester Adresse ist noch kein Betrieb

Reproduzierbar verpacken

Ein Modell allein ist nicht lieferfähig. Dazu gehören die Bibliotheksversionen, mit denen es trainiert wurde, die Vorverarbeitung der Eingaben und die Beschreibung, welche Felder in welchem Format erwartet werden. Der klassische Fehler ist eine Vorverarbeitung, die im Training in einem Skript steckt und im Betrieb im Anwendungscode nachgebaut wird, denn ab da driften beide auseinander.

Verpack Modell und Vorverarbeitung als eine Einheit und frier die Abhängigkeiten ein. Ein Container mit fixierten Versionen und einem definierten Einstiegspunkt ist der übliche Weg, weil dieselbe Einheit dann auf dem Rechner der Entwicklung, in der Testumgebung und in der Produktion läuft.

Versionieren, und zwar alles

Eine Modellversion allein reicht nicht. Nachvollziehbar wird eine Vorhersage erst, wenn du zu ihr Modellstand, Trainingsdatenstand, Code und Konfiguration zurückverfolgen kannst. Ein Modellregister hält diese Verbindung fest und gibt jedem Stand eine Kennung, mit der er später eindeutig ansprechbar ist.

Sinnvoll ist zusätzlich ein Zustand je Version: in Entwicklung, freigegeben, im Einsatz, ausgemustert. So lässt sich beantworten, welcher Stand am fraglichen Tag tatsächlich Anfragen beantwortet hat, und genau das fragt im Zweifel jemand aus der Fachabteilung oder der Revision.

Vorsichtig ausrollen

Ein Modell direkt gegen den vollen Verkehr zu tauschen ist die riskanteste Variante. Üblich sind stattdessen zwei Muster: eine Schattenphase, in der das neue Modell dieselben Anfragen mitrechnet, ohne dass seine Antworten verwendet werden, und ein Anteil des echten Verkehrs, der schrittweise erhöht wird.

Die Schattenphase beantwortet die Frage, ob das neue Modell technisch trägt und ob seine Ausgaben plausibel sind, ohne Risiko für die Nutzung. Der schrittweise Anteil beantwortet die Frage, ob sich die fachlichen Kennzahlen halten. Beides braucht vorher eine Festlegung, welche Werte einen Abbruch auslösen, sonst wird mitten im Rollout diskutiert.

Den Weg zurück vorbereiten

Zurückrollen ist keine Notmaßnahme, sondern eine geplante Funktion. Das setzt voraus, dass der vorherige Stand noch lauffähig vorliegt, dass die Schnittstelle unverändert geblieben ist und dass jemand die Umschaltung ohne neuen Auslieferungslauf auslösen kann.

Der unangenehme Fall ist ein Modellwechsel, der zugleich das Eingabeformat ändert. Dann hängt der Rückweg auch am aufrufenden System. Deshalb gilt: Formatänderungen und Modellwechsel nicht im selben Schritt ausliefern.

Probier den Rückweg einmal in Ruhe aus, bevor du ihn brauchst. Ein Rückweg, den niemand je gegangen ist, ist eine Annahme.

Überwachen, was hinterher zählt

Technische Werte wie Antwortzeit, Fehlerquote und Auslastung sind die Pflicht. Interessanter sind die fachlichen: die Verteilung der Ausgaben, der Anteil der Fälle, in denen ein Mensch die Empfehlung übersteuert, und die Eingabedaten selbst, denn dort kündigt sich eine Verschlechterung zuerst an.

Wichtig ist ein Rückkanal für das tatsächliche Ergebnis. Bei vielen Anwendungen erfährst du erst Tage oder Wochen später, ob eine Vorhersage richtig war. Wer diesen Abgleich nicht von Anfang an einplant, kann später keine Aussage über die Güte im Betrieb treffen.