Modelle lokal betreiben

Was ist Quantisierung bei KI-Modellen?

Quantization

Quantisierung senkt die Zahlengenauigkeit, mit der die Gewichte eines Modells gespeichert und verrechnet werden. Das Modell belegt dadurch deutlich weniger Speicher und läuft auf schwächerer Hardware, antwortet aber je nach Stufe etwas ungenauer.

Sobald ein Sprachmodell auf dem eigenen Server oder Notebook laufen soll, entscheidet die gewählte Quantisierungsstufe darüber, ob es überhaupt in den Speicher passt.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Gehört zu: Modellkompression
Übliche Stufen: 8, 4 und teils 3 Bit, ausgehend von 16 Bit
Kostet: Genauigkeit bei langen Eingaben und seltenem Vokabular
Verwechselt mit: Pruning

Von 16 Bit auf 4 Bit

Die Gewichte eines trainierten Modells liegen üblicherweise als Gleitkommazahlen mit 16 Bit vor. Bei der Quantisierung werden sie auf ganze Zahlen mit 8 oder 4 Bit abgebildet, zusammen mit einem Skalierungsfaktor je Block, der den ursprünglichen Wertebereich festhält. Der Speicherbedarf sinkt dabei ungefähr im Verhältnis der Bitbreiten.

In Modellnamen taucht das als Kürzel auf: Q8 oder Q4 stehen für die Bitbreite, dahinter unterscheiden sich die Verfahren darin, wie sie die Skalierung wählen und ob besonders empfindliche Gewichte feiner aufgelöst bleiben. Wichtiger als die Wahl des Verfahrens ist meist die Stufe: Der Sprung von 8 auf 4 Bit macht mehr aus als der Wechsel zwischen zwei Verfahren derselben Stufe.

Die Alternative zur Quantisierung nach dem Training ist, sie schon während des Trainings zu berücksichtigen. Das liefert bessere Ergebnisse auf niedrigen Stufen, setzt aber voraus, dass du das Training selbst in der Hand hast.

Was es kostet

Qualität geht verloren, und zwar nicht gleichmäßig. Kurze, klar formulierte Aufgaben überstehen eine starke Quantisierung oft ohne sichtbaren Unterschied. Auffällig wird es bei langen Gedankenketten, bei seltenen Sprachen, bei exakten Zahlen und bei Programmcode, wo ein einziges falsches Zeichen das Ergebnis unbrauchbar macht.

Kleine Modelle vertragen die Reduktion außerdem schlechter als große, weil sie weniger Reserve haben. Eine allgemeine Aussage darüber, ab welcher Stufe es kippt, ist wertlos: Miss es an deinen eigenen Aufgaben mit einem festen Satz von Testfällen, sonst vergleichst du Bauchgefühle.

Wann es sich lohnt

Der häufigste Grund ist Hardware. Ein quantisiertes Modell passt in den Speicher einer einzelnen Grafikkarte, für die unquantisierte Fassung bräuchtest du mehrere. Damit wird der Betrieb im eigenen Haus für viele Vorhaben überhaupt erst bezahlbar, und das ist oft die Voraussetzung dafür, dass sensible Daten nicht nach außen gehen.

Der zweite Grund sind Geräte ohne Anbindung: Steuerungen, Fahrzeuge, mobile Endgeräte. Dort ist die Größe kein Kostenfaktor, sondern eine harte Grenze. Und drittens erlaubt die Kombination aus quantisiertem Basismodell und Adaptertraining, ein Modell auf bescheidener Hardware nachzutrainieren.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Quantisierung und was oft damit gleichgesetzt wird

Quantisierung gegen Distillation

Bei der Destillation trainierst du ein kleineres Modell darauf, die Ausgaben eines größeren nachzuahmen. Das Ergebnis ist ein neues Modell. Quantisierung dagegen behält das Modell und ändert nur die Speicherform seiner Gewichte.

Quantisierung gegen Pruning

Pruning entfernt Gewichte oder ganze Verbindungen, die wenig beitragen. Quantisierung entfernt nichts, sie speichert alles nur gröber. Beides lässt sich kombinieren.

Quantisierung gegen Fine-Tuning

Fine-Tuning ändert, was ein Modell tut. Quantisierung ändert, wie es gespeichert und gerechnet wird. Die beiden Schritte greifen an verschiedenen Stellen an und schließen einander nicht aus.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Der Qualitätsverlust zeigt sich selten im ersten Testprompt

Wer ein Sprachmodell auf eigener Hardware betreibt, greift fast immer zu einer quantisierten Variante, weil die volle Genauigkeit nicht in den Grafikspeicher passt. Die Wahl fällt dann schnell auf die kleinste Stufe, die noch lädt. Im ersten Test wirkt das unauffällig, denn kurze Fragen beantwortet auch eine stark reduzierte Variante sauber.

Auffällig wird es später: bei langen Dokumenten, bei Antworten, die ein festes Format wie JSON einhalten sollen, bei Fachvokabular und bei Sprachen, die im Training ohnehin selten vorkamen. Wer nur mit ein paar Beispielsätzen prüft, merkt davon nichts und nimmt den Fehler mit in den Betrieb.

Der zweite Stolperstein ist der Speicher selbst. Die Gewichte sind nur ein Teil des Bedarfs, der Kontext belegt zusätzlichen Platz, und der wächst mit der Länge der Eingabe. Ein Modell, das im Leerlauf bequem passt, kann bei einem langen Protokoll trotzdem abbrechen. Zur Auswahl gehört deshalb ein Test mit der längsten Eingabe, die im Alltag wirklich vorkommt.

Quantisierung lernen

Wie du ein quantisiertes Modell auf eigener Hardware zum Laufen bringst, üben die Kurse für Entwicklung und Administration von KI-Systemen .

Wie das Ergebnis danach in einen stabilen Betrieb kommt, behandeln die Kurse zum Ausliefern und Überwachen von Modellen .

Kurse, die Quantisierung behandeln

Häufige Fragen

Wie stark verschlechtert Quantisierung die Antworten?

Das hängt von der Stufe, vom Modell und von der Aufgabe ab. Bei moderater Reduktion merken die meisten Anwendungen nichts, bei starker Reduktion fallen zuerst lange Gedankenketten, Zahlen und Code auseinander. Verlass dich nicht auf allgemeine Vergleichswerte, sondern lass beide Fassungen über denselben Testsatz laufen.

Was bedeutet Q4 in einem Modellnamen?

Dass die Gewichte mit vier Bit gespeichert sind, statt mit der ursprünglichen Gleitkommagenauigkeit. Die Zusätze dahinter bezeichnen die Variante des Verfahrens, etwa wie fein die Skalierung gewählt wird. Je kleiner die Zahl, desto kleiner die Datei und desto größer der Qualitätsverlust.

Lohnt sich Quantisierung auch ohne Grafikkarte?

Ja, auf der CPU ist sie oft die einzige Möglichkeit, ein Modell überhaupt sinnvoll zu betreiben. Die Antwortzeiten bleiben deutlich hinter dem Betrieb auf Grafikkarten zurück, für einzelne Anfragen im Hintergrund oder für einen Test auf dem Arbeitsgerät reicht es aber.

Persönlich für dich da