Ein Modell für alles gibt es nicht

Die Aufgabe bestimmt das Kaliber, nicht der Anbietername

Sortier eure Anwendungsfälle vor der Modellfrage in drei Gruppen: Texte, die ein Mensch am Ende liest und verantwortet, Massenverarbeitung ohne menschliche Zwischenstufe, und alles, was auf euren eigenen Dokumenten arbeitet. Jede Gruppe stellt andere Anforderungen, und nur die erste braucht wirklich das stärkste verfügbare Modell.

Bei der Massenverarbeitung dreht sich das Bild. Wenn eine Anfrage tausendfach am Tag läuft, entscheidet nicht die letzte Nuance im Ausdruck, sondern ob die Ausgabe zuverlässig dem geforderten Format folgt und was ein Durchlauf kostet. Ein kleineres Modell mit präziser Anweisung und festem Ausgabeschema schlägt hier regelmäßig das große, das zu jeder Frage einen Aufsatz schreiben will.

Deutsch ist ein eigenes Kriterium

Modelle werden überwiegend an englischsprachigem Material gemessen, und die Ergebnisse übertragen sich nicht eins zu eins. Prüf die deutsche Fachsprache selbst: Behördendeutsch, lange zusammengesetzte Wörter, ob die Anredeform über einen längeren Text hinweg stabil bleibt und ob eure Branchenbegriffe stehen bleiben, statt eingedeutscht oder übersetzt zu werden.

Dazu kommt ein Kostenaspekt, den man leicht übersieht. Deutsche Texte zerfallen bei den meisten Modellen in mehr Token als die englische Entsprechung desselben Inhalts. Der Grund liegt im Vokabular: Es wurde überwiegend an englischem Material gebildet, deutsche Komposita und Beugungsformen werden deshalb in mehr Teile zerlegt. Abgerechnet wird je Token, also ist derselbe Vorgang auf Deutsch teurer, als der Testlauf auf Englisch vermuten lässt.

Datenschutz ist eine Vertragsfrage, keine Modellfrage

Ob ein Modell für Personal- oder Kundendaten infrage kommt, hängt fast nie am Modell selbst, sondern am Vertrag darunter. Entscheidend sind drei Punkte: ein Auftragsverarbeitungsvertrag, eine belastbare Zusage, dass Eingaben nicht ins Training fließen, und die Frage, in welcher Region verarbeitet wird und wer von wo aus im Störungsfall zugreifen darf.

Dasselbe Modell kann deshalb in der einen Bezugsform ausgeschlossen und in der anderen unproblematisch sein, etwa als Endkundenabo gegenüber demselben Modell über den Unternehmensvertrag eines Cloud-Anbieters. Klär diese Ebene, bevor jemand Zeit in Anweisungen investiert, sonst wird eine funktionierende Lösung nachträglich zurückgebaut.

Bewerte an euren eigenen Fällen, nicht an Ranglisten

Leg eine Testmenge aus dreißig bis fünfzig echten Vorgängen an, jeweils mit der Antwort, die du erwartet hättest. Das kostet einen Tag und ist die einzige Messung, die für euch gilt. Öffentliche Ranglisten sagen wenig darüber, wie ein Modell mit euren Abkürzungen, eurem Tonfall und euren Sonderfällen umgeht.

Lass dieselbe Testmenge gegen jedes Modell laufen und miss vier Dinge: Trefferquote gegen die erwartete Antwort, Formattreue bei strukturierten Ausgaben, Zeit bis zur ersten Ausgabe und Kosten je Vorgang. Wiederhol den Lauf nach jedem Modellwechsel, dann hast du eine Vergleichszahl statt eines Eindrucks aus der Erinnerung.

Fixier in der Anwendung eine konkrete Modellversion statt eines Alias, der immer auf das Neueste zeigt. Sonst ändert sich das Verhalten eurer Anwendung, ohne dass jemand etwas verändert hat, und die Ursachensuche beginnt im eigenen Quelltext statt beim Anbieter.

Zwei bis drei Modelle sind kein Versäumnis

Ein Portfolio klingt nach Mehraufwand, ist aber meist die einfachere Lösung, sobald eine Zwischenschicht davor sitzt. Die Anwendungen sprechen dann gegen eine Schnittstelle, und welches Modell antwortet, steht in der Konfiguration. Damit wird der Wechsel zur Einstellung statt zum Vorhaben mit eigenem Termin.

Für die Auswahl heißt das: Du entscheidest nicht einmal und für alles, sondern legst je Aufgabengruppe fest, welches Modell zuständig ist, und benennst ein Ersatzmodell. Wenn ein Anbieter ausfällt, die Preise anzieht oder eine Version abkündigt, habt ihr bereits gemessen, was die Alternative kann.