Wo die LLM-Rechnung wirklich entsteht

Erst messen, dann sparen

Eine Gesamtrechnung vom Anbieter sagt dir nur, dass es teuer ist. Nützlich wird es, wenn jeder Aufruf mit Anwendungsfall, Team, Modell und Verbrauch an Eingabe- und Ausgabetokens protokolliert wird. Erst dann siehst du, dass ein einzelner Hintergrundprozess mehr verbraucht als die gesamte Belegschaft im Chat.

Ein Gateway vor den Modellen ist dafür der einfachste Ort. Es vergibt Schlüssel je Anwendung, zählt mit, setzt Grenzen und erlaubt später den Wechsel des Anbieters, ohne dass jede Anwendung angefasst wird. Ohne diese Stelle verteilt sich die Nutzung auf Schlüssel, die niemand mehr zuordnen kann.

Rechne in Kosten pro erledigtem Vorgang, nicht in Kosten pro Aufruf. Ein Ablauf mit drei günstigen Aufrufen und einer Wiederholungsschleife kann teurer sein als ein einzelner Aufruf an ein größeres Modell, und das sieht man nur auf Vorgangsebene.

Der Kontext ist der größte Posten

Eingabetokens sind meist der überraschende Teil der Rechnung, weil sie sich unauffällig ansammeln: ein langer Systemprompt bei jedem Aufruf, ein vollständig mitgeschleppter Gesprächsverlauf, großzügig gewählte Auszüge aus der Suche, Beispieldialoge, die längst niemand mehr prüft.

Wirksam ist, den Verlauf zusammenzufassen statt ihn komplett mitzuschicken, die Zahl der beigelegten Auszüge zu begrenzen und einen Rangschritt vorzuschalten, der aus vielen Treffern die wenigen wirklich passenden auswählt. Bei langen Systemprompts lohnt der Blick, ob der Anbieter das Zwischenspeichern wiederkehrender Kontextteile unterstützt, denn dann zahlst du den gleichbleibenden Teil nicht bei jedem Aufruf voll.

Auf der Ausgabeseite gehört die Länge in die Anweisung. Eine Vorgabe wie „höchstens fünf Sätze“ oder eine feste Gliederung wirkt, weil Modelle sonst ausführlich antworten. Eine harte Obergrenze an Token ist dagegen kein Sparhebel, sondern eine Notbremse gegen Ausreißer, denn sie schneidet die Antwort mitten im Satz ab, statt sie kürzer zu machen. Ausschweifende Antworten kosten doppelt, weil sie auch die Nachverarbeitung und das Lesen aufhalten.

Nicht jede Aufgabe braucht das größte Modell

Viele Systeme laufen vollständig auf dem stärksten verfügbaren Modell, weil das im Prototyp so eingestellt war. Klassifizieren, Umformatieren, einzelne Felder aus einem Text ziehen, kurze Texte zusammenfassen: solche Aufgaben erledigen kleinere Modelle oft gleichwertig, und zwischen den Modellklassen liegt beim Preis je Token ein erheblicher Abstand.

Die belastbare Vorgehensweise ist die Auswertung. Nimm dein Testset, lass es gegen ein kleineres Modell laufen und vergleiche die Werte. Fällt es durch, hast du eine Begründung für das teure Modell. Besteht es, hast du dauerhaft gespart, ohne dass es jemand merkt.

Ein Routing entscheidet pro Anfrage, welches Modell zuständig ist, etwa nach Länge, Art der Aufgabe oder erkanntem Schwierigkeitsgrad, mit einer Rückfallebene auf das stärkere Modell. Das lohnt sich ab dem Punkt, an dem der Verkehr deutlich unterschiedlich schwierig ist.

Wiederholung ist verschenktes Geld

In vielen Anwendungen ähneln sich die Anfragen stark: dieselben Fragen an dasselbe Dokument, dieselbe Zusammenfassung eines unveränderten Textes, dieselbe Prüfung eines Standardfalls. Ein Zwischenspeicher auf Ebene der fertigen Antwort spart dann den kompletten Aufruf, nicht nur ein paar Token.

Wichtig sind saubere Regeln: Was gehört zum Schlüssel, wie lange gilt ein Eintrag, und was passiert, wenn sich das zugrunde liegende Dokument ändert. Ein Zwischenspeicher, der veraltete Antworten ausliefert, spart Geld und kostet Vertrauen.

Grenzen einziehen, bevor die Rechnung kommt

Technische Sparmaßnahmen helfen wenig gegen einen Prozess, der in einer Schleife feststeckt. Deshalb gehören Budgetgrenzen je Anwendung und je Team dazu, außerdem eine Obergrenze für Wiederholungen und ein Alarm bei ungewöhnlichem Verbrauch innerhalb weniger Stunden.

Sinnvoll ist außerdem die Trennung zwischen Experimentierbetrieb und Produktion, mit eigenen Schlüsseln und eigenen Grenzen. Sonst fällt eine nächtliche Testschleife erst am Monatsende auf, und dann in Form einer Zahl, die niemand erwartet hat.