Was ist ein Token bei Sprachmodellen?

Was „Token“ auf Deutsch heißt

Das englische „token“ bedeutet Zeichen, Marke oder Wertmarke, also etwas, das für etwas anderes steht. In der KI hat sich das Wort ohne Übersetzung durchgesetzt, weil keine deutsche Entsprechung genau trifft: Ein Token ist weder ein Buchstabe noch ein Wort, sondern ein Stück Text, das der Tokenizer als Einheit führt. Das Zerlegen heißt Tokenisierung.

Je nach Fachgebiet meint das Wort etwas anderes. Wer bei der Suche auf eine dieser Bedeutungen stößt, hat es mit einem verwandten, aber eigenen Begriff zu tun:

• Linguistik

  Ein Token ist ein einzelnes Vorkommen eines Worts im Text, ein Type die Wortform als solche. Der Satz „Die Katze sieht die Maus“ hat fünf Tokens, aber nur vier Types, weil „die“ zweimal vorkommt.

• IT-Sicherheit

  Ein Sicherheits- oder Zugriffstoken ist ein Nachweis, dass du angemeldet bist, etwa ein Hardware-Schlüssel oder eine zeitlich begrenzte Zeichenkette, die eine Anwendung statt des Passworts mitschickt.

• Blockchain

  Ein Krypto-Token ist ein digitaler Wert oder ein Recht, das auf einer Blockchain verwaltet wird.

• Sprachmodelle

  Ein Token ist die Rechen- und Abrechnungseinheit eines Modells wie GPT, Claude oder Mistral. Um diese Bedeutung geht es auf dieser Seite.

Wie aus Text Tokens werden

Ein Tokenizer zerlegt den Text anhand eines festen Vokabulars häufiger Zeichenfolgen. Die meisten aktuellen Modelle nutzen dafür Varianten des Byte Pair Encoding: Beim Bau des Vokabulars werden die häufigsten Zeichenpaare in einem großen Textkorpus schrittweise zu längeren Einheiten zusammengefasst, bis die gewünschte Größe erreicht ist. Jedes Token bekommt eine Nummer, und nur diese Nummern sieht das Modell.

Kurze, oft vorkommende Wörter sind meist ein einziges Token, seltene Fachbegriffe und lange Komposita zerfallen in mehrere Stücke. Auch das Leerzeichen vor einem Wort gehört üblicherweise zum Token dazu. Die folgende Tabelle zeigt echte Zerlegungen mit dem Tokenizer o200k_base, den OpenAI für GPT-4o verwendet. Andere Modelle haben ein anderes Vokabular und zerlegen anders.

Alltagssätze kommen auf Deutsch kaum schlechter weg als auf Englisch. Teuer werden Zusammensetzungen und Fachwörter, die der Tokenizer nie als Ganzes gesehen hat. Ein deutscher Beispielsatz mit 131 Zeichen ergab mit demselben Tokenizer 27 Tokens, die englische Fassung mit 127 Zeichen 24 Tokens. Wie viele Zeichen ein Token im Schnitt umfasst, hängt also von Sprache, Thema und Modell ab und lässt sich nur messen, nicht pauschal angeben.

Warum Tokens Kosten und Grenzen bestimmen

Anbieter rechnen nach Tokens ab, und zwar getrennt für das, was du hineingibst, und für das, was das Modell schreibt. Ausgabe-Tokens sind bei den meisten Anbietern deutlich teurer als Eingabe-Tokens. Gleichzeitig hat jedes Modell ein Kontextfenster, also eine Obergrenze für Eingabe und Antwort zusammen, und meist zusätzlich eine eigene Grenze für die Länge der Antwort. Alle diese Größen sind in Tokens angegeben, nicht in Zeichen oder Seiten.

Daraus ergibt sich ein Effekt, der im Alltag oft überrascht: In einem längeren Chat wird der bisherige Verlauf bei jeder neuen Frage komplett mitgeschickt. Die zehnte Frage in einem Gespräch kostet deshalb deutlich mehr als dieselbe Frage in einer frischen Unterhaltung, und wenn das Kontextfenster voll ist, fallen die ältesten Teile des Gesprächs heraus.

Was das für deine Arbeit heißt

Wenn eine Antwort mitten im Satz abbricht, ist fast immer die Obergrenze für die Ausgabe erreicht und nicht das Modell überfordert. Die Lösung ist, die Aufgabe zu teilen, statt die Frage umzuformulieren.

Beim Sparen lohnt sich der Blick auf die richtige Stelle. Ein paar Wörter aus der Anweisung zu streichen bringt fast nichts, ein versehentlich mitgeschicktes Handbuch dagegen sehr viel. Und wer ein langes Gespräch mit einem neuen Thema fortsetzt, fährt mit einer neuen Unterhaltung günstiger und meist auch mit besseren Antworten.