Modelle lokal betreiben

Was ist Quantisierung bei KI-Modellen?

Quantization

Quantisierung bedeutet allgemein, fein abgestufte Werte auf wenige feste Stufen abzubilden. Bei KI-Modellen werden so die Gewichte mit weniger Bit gespeichert und verrechnet, etwa 4 statt 16: Das Modell braucht deutlich weniger Speicher und läuft auf schwächerer Hardware, antwortet aber je nach Stufe etwas ungenauer.

Sobald ein Sprachmodell auf dem eigenen Server oder Notebook laufen soll, entscheidet die gewählte Quantisierungsstufe darüber, ob es überhaupt in den Speicher passt.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Gehört zu: Modellkompression
Übliche Stufen: 8, 4 und teils 3 Bit, ausgehend von 16 Bit
Kostet: Genauigkeit bei langen Eingaben und seltenem Vokabular
Verwechselt mit: Pruning

Von 16 Bit auf 4 Bit

Die Gewichte eines trainierten Sprachmodells liegen meist als Gleitkommazahlen mit 16 Bit vor, also 2 Byte je Gewicht. Bei der Quantisierung werden sie auf Zahlen mit 8 oder 4 Bit abgebildet, zusammen mit einem Skalierungsfaktor je Block, der den ursprünglichen Wertebereich festhält. Der Speicherbedarf für die Gewichte sinkt dabei ungefähr im Verhältnis der Bitbreiten. Für den Überschlag reicht: Zahl der Parameter mal Byte je Gewicht.

Stufe	Byte je Gewicht	Modell mit 7 Mrd. Parametern	Modell mit 70 Mrd. Parametern
16 Bit	2	rund 14 GB	rund 140 GB
8 Bit	1	rund 7 GB	rund 70 GB
4 Bit	0,5	rund 3,5 GB	rund 35 GB

Das ist der reine Bedarf der Gewichte. Skalierungsfaktoren, Laufzeitumgebung und vor allem der Kontext kommen dazu, deshalb ist im Betrieb immer etwas Luft nach oben einzuplanen.

Verfahren und Kürzel in Modellnamen

In Modellnamen taucht die Stufe als Kürzel auf. Bei Modellen im Format GGUF, das llama.cpp und darauf aufbauende Werkzeuge wie Ollama verwenden, steht Q8_0 für 8 Bit und Q4_K_M für eine 4-Bit-Variante, bei der besonders empfindliche Teile etwas feiner aufgelöst bleiben. Für Grafikkarten sind Verfahren wie GPTQ und AWQ verbreitet, in Python-Umgebungen die Bibliothek bitsandbytes.

Wichtiger als die Wahl des Verfahrens ist meist die Stufe: Der Sprung von 8 auf 4 Bit macht mehr aus als der Wechsel zwischen zwei Verfahren derselben Stufe.

Fast immer wird ein fertig trainiertes Modell nachträglich quantisiert, im Englischen Post-Training Quantization. Die Alternative ist Quantization-Aware Training, bei dem die spätere Bitbreite schon im Training berücksichtigt wird. Das liefert bessere Ergebnisse auf niedrigen Stufen, setzt aber voraus, dass du das Training selbst in der Hand hast.

Was es kostet

Qualität geht verloren, und zwar nicht gleichmäßig. Kurze, klar formulierte Aufgaben überstehen eine starke Quantisierung oft ohne sichtbaren Unterschied. Auffällig wird es bei langen Gedankenketten, bei seltenen Sprachen, bei exakten Zahlen und bei Programmcode, wo ein einziges falsches Zeichen das Ergebnis unbrauchbar macht.

Kleine Modelle vertragen die Reduktion außerdem schlechter als große, weil sie weniger Reserve haben. Eine allgemeine Aussage darüber, ab welcher Stufe es kippt, ist wertlos: Miss es an deinen eigenen Aufgaben mit einem festen Satz von Testfällen, sonst vergleichst du Bauchgefühle.

Wann es sich lohnt

Der häufigste Grund ist Hardware. Ein quantisiertes Modell passt in den Speicher einer einzelnen Grafikkarte, für die unquantisierte Fassung bräuchtest du mehrere. Damit wird der Betrieb im eigenen Haus für viele Vorhaben überhaupt erst bezahlbar, und das ist oft die Voraussetzung dafür, dass sensible Daten nicht nach außen gehen.

Der zweite Grund sind Geräte ohne Anbindung: Steuerungen, Fahrzeuge, mobile Endgeräte. Dort ist die Größe kein Kostenfaktor, sondern eine harte Grenze. Und drittens erlaubt QLoRA, also die Kombination aus einem 4-Bit-quantisierten Basismodell und dem Training kleiner Adapter, ein Modell auf bescheidener Hardware nachzutrainieren.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Quantisierung und was oft damit gleichgesetzt wird

Quantisierung gegen Quantisierung in der Signalverarbeitung

Der Begriff stammt aus der Digitaltechnik: Bei der Analog-Digital-Wandlung wird ein stufenloses Signal, etwa ein Mikrofonpegel, auf feste Stufen gerundet, bei Audio-CDs 16 Bit je Abtastwert. Das Prinzip ist dasselbe, nur geht es bei KI-Modellen um gespeicherte Gewichte statt um Messwerte. Mit der Quantisierung in der Physik hat beides nichts zu tun.

Quantisierung gegen Distillation

Bei der Destillation trainierst du ein kleineres Modell darauf, die Ausgaben eines größeren nachzuahmen. Das Ergebnis ist ein neues Modell. Quantisierung dagegen behält das Modell und ändert nur die Speicherform seiner Gewichte.

Quantisierung gegen Pruning

Pruning entfernt Gewichte oder ganze Verbindungen, die wenig beitragen. Quantisierung entfernt nichts, sie speichert alles nur gröber. Beides lässt sich kombinieren.

Quantisierung gegen Fine-Tuning

Fine-Tuning ändert, was ein Modell tut. Quantisierung ändert, wie es gespeichert und gerechnet wird. Die beiden Schritte greifen an verschiedenen Stellen an und schließen einander nicht aus.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Der Qualitätsverlust zeigt sich selten im ersten Testprompt

Wer ein Sprachmodell auf eigener Hardware betreibt, greift fast immer zu einer quantisierten Variante, weil die volle Genauigkeit nicht in den Grafikspeicher passt. Die Wahl fällt dann schnell auf die kleinste Stufe, die noch lädt. Im ersten Test wirkt das unauffällig, denn kurze Fragen beantwortet auch eine stark reduzierte Variante sauber.

Auffällig wird es später: bei langen Dokumenten, bei Antworten, die ein festes Format wie JSON einhalten sollen, bei Fachvokabular und bei Sprachen, die im Training ohnehin selten vorkamen. Wer nur mit ein paar Beispielsätzen prüft, merkt davon nichts und nimmt den Fehler mit in den Betrieb.

Der zweite Stolperstein ist der Speicher selbst. Die Gewichte sind nur ein Teil des Bedarfs, der Kontext belegt zusätzlichen Platz, und der wächst mit der Länge der Eingabe. Ein Modell, das im Leerlauf bequem passt, kann bei einem langen Protokoll trotzdem abbrechen. Zur Auswahl gehört deshalb ein Test mit der längsten Eingabe, die im Alltag wirklich vorkommt.

Quantisierung lernen

Wie du ein quantisiertes Modell auf eigener Hardware zum Laufen bringst, üben die Kurse für Entwicklung und Administration von KI-Systemen.

Wie das Ergebnis danach in einen stabilen Betrieb kommt, behandeln die Kurse zum Ausliefern und Überwachen von Modellen.

Kurse, die Quantisierung behandeln

Weitere Kurse aus diesem Bereich

Häufige Fragen

Wie stark verschlechtert Quantisierung die Antworten?

Das hängt von der Stufe, vom Modell und von der Aufgabe ab. Bei 8 Bit merken die meisten Anwendungen nichts, bei 4 Bit und darunter fallen zuerst lange Gedankenketten, Zahlen und Code auseinander. Verlass dich nicht auf allgemeine Vergleichswerte, sondern lass beide Fassungen über denselben Testsatz laufen.

Was bedeutet Q4 in einem Modellnamen?

Dass die Gewichte mit rund vier Bit gespeichert sind, statt mit der ursprünglichen Gleitkommagenauigkeit. Die Zusätze dahinter, etwa K_M, bezeichnen die Variante des Verfahrens. Je kleiner die Zahl, desto kleiner die Datei und desto größer der Qualitätsverlust.

Lohnt sich Quantisierung auch ohne Grafikkarte?

Ja, auf der CPU ist sie oft die einzige Möglichkeit, ein Modell überhaupt sinnvoll zu betreiben. Die Antwortzeiten bleiben deutlich hinter dem Betrieb auf Grafikkarten zurück, für einzelne Anfragen im Hintergrund oder für einen Test auf dem Arbeitsgerät reicht es aber.

Kann ich ein quantisiertes Modell zurück in volle Genauigkeit bringen?

Nein. Beim Runden auf wenige Stufen geht Information verloren, die sich nicht wiederherstellen lässt. Wer später eine genauere Fassung braucht, lädt das Originalmodell erneut herunter und quantisiert bei Bedarf neu.

Quellen

Passt thematisch dazu

Was die Bitbreite für dein eigenes Gerät bedeutet, zeigt die Frage, wie viel Speicher ein lokales Modell auf dem Notebook braucht.

Ob sich der Aufwand überhaupt lohnt, zeigt der Vergleich zwischen eigenem KI-Betrieb und Cloud.

Persönlich für dich da