Texteinheiten und Kosten

Was ist ein Token bei Sprachmodellen?

Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell rechnet, meist ein Wortstück aus wenigen Zeichen. Das Modell liest und schreibt weder Buchstaben noch ganze Wörter, sondern ausschließlich Folgen solcher Tokens.

Limits, Rechnungen und abgeschnittene Antworten hängen alle an derselben Einheit, die weder Zeichen noch Wort ist und deutsche Texte teurer macht als englische.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Größe: Meist ein Wortstück aus wenigen Zeichen
Abrechnung: Eingabe und Ausgabe werden getrennt gezählt
Sprachunterschied: Deutsch braucht mehr Tokens als Englisch
Verwechselt mit: Zeichen oder Wörtern

Wie aus Text Tokens werden

Ein Tokenizer zerlegt den Text nach einer festen Liste häufiger Zeichenfolgen. Kurze, oft vorkommende Wörter sind meist ein einziges Token, seltene Fachbegriffe und lange Komposita zerfallen in mehrere Stücke. Auch das Leerzeichen vor einem Wort gehört üblicherweise zum Token dazu.

Deutscher Text braucht dabei mehr Tokens als englischer mit gleichem Inhalt, weil zusammengesetzte Wörter und Umlaute seltener als Ganzes in der Liste stehen. Das erklärt, warum dieselbe Aufgabe auf Deutsch spürbar mehr vom verfügbaren Platz verbraucht.

Warum Tokens Kosten und Grenzen bestimmen

Anbieter rechnen nach Tokens ab, und zwar getrennt für das, was du hineingibst, und für das, was das Modell schreibt. Gleichzeitig hat jedes Modell ein Kontextfenster, also eine Obergrenze für Eingabe und Antwort zusammen. Beide Größen sind in Tokens angegeben, nicht in Zeichen oder Seiten.

Daraus ergibt sich ein Effekt, der im Alltag oft überrascht: In einem längeren Chat wird der bisherige Verlauf bei jeder neuen Frage komplett mitgeschickt. Die zehnte Frage in einem Gespräch kostet deshalb deutlich mehr als dieselbe Frage in einer frischen Unterhaltung.

Was das für deine Arbeit heißt

Wenn eine Antwort mitten im Satz abbricht, ist fast immer die Obergrenze für die Ausgabe erreicht und nicht das Modell überfordert. Die Lösung ist, die Aufgabe zu teilen, statt die Frage umzuformulieren.

Beim Sparen lohnt sich der Blick auf die richtige Stelle. Ein paar Wörter aus der Anweisung zu streichen bringt fast nichts, ein versehentlich mitgeschicktes Handbuch dagegen sehr viel. Und wer ein langes Gespräch mit einem neuen Thema fortsetzt, fährt mit einer neuen Unterhaltung günstiger und meist auch mit besseren Antworten.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Token und was oft damit gleichgesetzt wird

Token gegen Kontextfenster

Das Kontextfenster ist die Obergrenze, wie viele Tokens ein Modell auf einmal verarbeiten kann. Das Token ist die Einheit, das Kontextfenster die Grenze, in der diese Einheiten Platz finden müssen.

Token gegen Parameter

Parameter beschreiben die Größe des Modells selbst, also die im Training gelernten Werte. Mit der Menge an Text, die du gerade übergibst, haben sie nichts zu tun.

Token gegen Zeichen und Wörter

Zeichen- und Wortzahl lassen sich nicht direkt in Tokens umrechnen. Ein langes Fachwort kann mehrere Tokens ergeben, während ein kurzes Allerweltswort mit vorangehendem Leerzeichen ein einziges bleibt.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Die Rechnung entsteht an Stellen, die niemand ansieht

Bei jeder einzelnen Anfrage wandert der komplette Systemprompt mit durch die Abrechnung, dazu der bisherige Verlauf und alle Anhänge. Ein Assistent mit einer zwei Seiten langen Rollenbeschreibung zahlt diese zwei Seiten also nicht einmal, sondern bei jedem Aufruf erneut. In Massenläufen über Tausende Datensätze ist das der größte Posten.

Deutsch ist dabei im Nachteil. Lange Zusammensetzungen und Umlaute werden in mehr Tokens zerlegt als vergleichbarer englischer Text, derselbe Inhalt kostet also mehr und füllt das Kontextfenster schneller. Bei kurzen Fragen merkt das niemand, bei der Verarbeitung ganzer Dokumente sehr wohl.

Praktisch heißt das: Miss vor einem größeren Lauf an einer Handvoll echter Datensätze, wie viele Tokens ein Vorgang braucht, und rechne hoch. Und plane das Ausgabelimit mit ein, sonst brechen strukturierte Antworten mitten im Objekt ab und der ganze Datensatz ist unbrauchbar.

Token lernen

Was zwischen deiner Eingabe und der fertigen Antwort passiert, erklären die Grundlagenkurse zur Funktionsweise von KI ohne Mathematik.

Wer selbst gegen eine Schnittstelle entwickelt und dabei auf Kosten und Kontextgrenzen achten muss, findet das Handwerkszeug in den Kurse für die Arbeit mit Sprachmodellen in eigenen Anwendungen .

Wissen prüfen

Sitzt Token schon?

Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.

Wissenstest KI Grundlagen QuizTeste dein Verständnis für Sprachmodelle, Kontextfenster, Halluzinationen und den sicheren Umgang mit KI im Job. Quiz starten Wissenstest Prompt Engineering QuizTeste dein Wissen zu LLMs, Prompting-Techniken, Chain-of-Thought, Few-Shot und Halluzinationen. Quiz starten

Kurse, die Token behandeln

Häufige Fragen

Warum bricht die Antwort mitten im Satz ab?

Weil die maximale Ausgabelänge in Tokens erreicht ist. Bitte das Modell, den Text abschnittsweise zu liefern, oder zerlege die Aufgabe in mehrere Schritte, statt dieselbe Anweisung noch einmal zu stellen.

Zählt der bisherige Chatverlauf mit?

Ja. Bei jeder Nachricht geht der gesamte bisherige Verlauf erneut an das Modell und belegt Platz im Kontextfenster. Für ein neues Thema lohnt sich deshalb eine neue Unterhaltung.

Kann ich vorher sehen, wie viele Tokens ein Text hat?

Ja, die Anbieter stellen dafür kleine Werkzeuge und Bibliotheken bereit, die den Text mit demselben Tokenizer zerlegen wie das Modell. Eine Schätzung über die Zeichenzahl ist immer nur eine grobe Näherung.

Persönlich für dich da