Anpassung von Modellen

Was ist Fine-Tuning?

Feinabstimmung

Fine-Tuning ist das Nachtrainieren eines bereits vortrainierten Modells mit einem eigenen, meist deutlich kleineren Datensatz. Das Modell lernt dabei vor allem, eine bestimmte Aufgabe, ein Format oder eine Fachsprache zuverlässig zu treffen. Fakten aus den Beispielen bleiben zwar hängen, aber ungeordnet und ohne dass sie sich später gezielt nachschlagen oder korrigieren ließen.

Wenn ein Modell die Aufgabe zwar versteht, aber Ton und Format bei jedem Durchlauf anders trifft, hilft auch ein längerer Prompt nicht mehr weiter.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Bringt bei: Format, Ton und Fachsprache
Braucht: Geprüfte Beispielpaare, keine Rohdaten
Ungeeignet für: Wissen, das sich laufend ändert
Verwechselt mit: RAG

Wie ein Fine-Tuning abläuft

Am Anfang stehen ein Basismodell und ein Datensatz aus Paaren: eine Eingabe und die Antwort, die du dir wünschst. Genau diese Paare sind die eigentliche Arbeit. Wenn zehn Beispiele den Ton treffen und zehn weitere ihn verfehlen, lernt das Modell den Widerspruch mit, nicht die Regel dahinter.

Beim vollständigen Fine-Tuning werden alle Gewichte des Modells verändert, was viel Speicher und Rechenzeit kostet. Verbreiteter sind Adapterverfahren wie LoRA: Dabei bleibt das Basismodell eingefroren, und trainiert werden nur kleine zusätzliche Matrizen, die beim Rechnen dazugeschaltet werden. Das Ergebnis ist eine Datei, die um Größenordnungen kleiner ausfällt als das Modell selbst und die du je nach Anwendungsfall austauschen kannst, statt für jede Variante ein komplettes Modell vorzuhalten.

Vor dem ersten Lauf legst du einen Teil der Beispiele beiseite, den das Modell nie zu sehen bekommt. Nur an diesem Testsatz lässt sich hinterher beantworten, ob das Fine-Tuning wirklich besser geworden ist oder nur die Trainingsbeispiele auswendig gelernt hat.

Wofür sich der Aufwand im Betrieb lohnt

Fine-Tuning wirkt am stärksten dort, wo eine Aufgabe eng, wiederkehrend und klar bewertbar ist: Tickets in Kategorien einsortieren, Freitext in ein festes Feldschema überführen, Befundtexte in der Hausterminologie formulieren, Antworten immer im gleichen Aufbau liefern. Was du sonst in einen sehr langen Prompt schreiben müsstest, steckt danach im Modell.

Beim zweiten Grund geht es um Geld und Tempo. Ein kleines Modell, das auf eine einzige Aufgabe getunt ist, kommt oft an die Qualität eines deutlich größeren Allzweckmodells heran, braucht aber weniger Hardware und antwortet schneller. Bei hohen Stückzahlen entscheidet das über die Wirtschaftlichkeit des ganzen Vorhabens.

Der Fehler, der am häufigsten passiert

Der Klassiker ist der Versuch, dem Modell per Fine-Tuning Wissen beizubringen: das eigene Handbuch, die Preisliste, alle Verträge. Das funktioniert schlecht. Fakten aus den Trainingsdaten liegen im Modell nicht in einer Form vor, in der sie sich nachschlagen ließen, sie vermischen sich und tauchen später halb richtig wieder auf. Änderungen an der Preisliste bedeuten außerdem jedes Mal einen neuen Trainingslauf.

Für Wissen ist der Abruf aus einer Datenquelle zur Laufzeit der richtige Weg, für Verhalten das Fine-Tuning. Die zweite häufige Falle ist, dass ein Modell durch zu langes Training auf einem engen Datensatz Fähigkeiten verliert, die vorher da waren. Wenn dein getuntes Modell die Fachaufgabe glänzend löst, aber bei einer einfachen Rückfrage aussteigt, hast du zu lange oder mit zu wenig Vielfalt trainiert.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Fine-Tuning und was oft damit gleichgesetzt wird

Fine-Tuning gegen RAG

Bei RAG bleibt das Modell unverändert, es bekommt die passenden Dokumente zur Anfrage dazugereicht. Aktuelle oder häufig wechselnde Inhalte gehören dorthin, nicht ins Fine-Tuning.

Fine-Tuning gegen Prompt Engineering

Eine gute Anweisung wirkt nur für die eine Anfrage und lässt sich in Minuten ändern. Fine-Tuning verankert dasselbe Verhalten dauerhaft in den Gewichten und lohnt sich erst, wenn der Prompt an seine Grenze kommt.

Fine-Tuning gegen Quantisierung

Quantisierung ändert die Zahlengenauigkeit, mit der die Gewichte gespeichert und verrechnet werden. Sie bringt dem Modell keine neue Aufgabe bei, kostet je nach Stufe aber etwas Antwortqualität. Beides lässt sich kombinieren, etwa wenn du ein quantisiertes Basismodell mit Adaptern nachtrainierst.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Der Datensatz ist die Arbeit, das Training ist der kurze Teil

Die Beispiele kommen fast immer aus dem Altbestand, aus Tickets, Angeboten oder Gutachten. Genau dort stecken widersprüchliche Formulierungen, überholte Regelungen und die Eigenheiten einzelner Leute, und das Modell übernimmt sie mit derselben Selbstverständlichkeit wie die richtigen Muster. Das Aussortieren und Vereinheitlichen ist der eigentliche Aufwand und dauert um ein Vielfaches länger als der Trainingslauf selbst.

Ohne festen Testsatz merkst du nicht, was du eingetauscht hast. Ein eng trainiertes Modell trifft die geübten Fälle besser und wird bei allem daneben schlechter, und das fällt erst auf, wenn eine ungewöhnliche Anfrage im Alltag ankommt. Leg deshalb vor dem Training eine Sammlung echter Fälle beiseite, an denen nicht trainiert wird, und vergleiche das alte und das neue Modell darauf Satz für Satz.

Ein angepasstes Modell ist ein Stand, den du pflegen musst. Es hängt an einem bestimmten Grundmodell, und wenn du dieses wechselst, ist der Lauf zu wiederholen. Rechtlich kommt hinzu, dass personenbezogene Angaben, die einmal im Trainingsmaterial waren, sich später nicht mehr gezielt aus dem Modell herauslösen lassen. Was nicht hinein soll, muss vorher aus den Beispielen heraus.

Fine-Tuning lernen

Wie so ein Lauf von der Datenaufbereitung über LoRA bis zur Bewertung abläuft, üben die Trainings zum Anpassen eigener Modelle an offenen Modellen.

Was danach mit dem fertigen Modell passiert, also Registry, Rollout und Überwachung, behandeln die Kurse rund um den Modellbetrieb .

Wissen prüfen

Sitzt Fine-Tuning schon?

Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.

Wissenstest KI Grundlagen QuizTeste dein Verständnis für Sprachmodelle, Kontextfenster, Halluzinationen und den sicheren Umgang mit KI im Job. Quiz starten Wissenstest Prompt Engineering QuizTeste dein Wissen zu LLMs, Prompting-Techniken, Chain-of-Thought, Few-Shot und Halluzinationen. Quiz starten

Kurse, die Fine-Tuning behandeln

Häufige Fragen

Wie viele Beispiele brauche ich für ein Fine-Tuning?

Das hängt davon ab, wie eng die Aufgabe ist. Für ein festes Ausgabeformat reichen erstaunlich wenige, dafür sehr saubere und untereinander konsistente Beispiele. Für einen Schreibstil brauchst du mehr Vielfalt. Entscheidend ist nicht die Menge, sondern dass alle Beispiele dieselbe Regel zeigen.

Brauche ich dafür eigene GPUs?

Nicht zwingend. Adapterverfahren wie LoRA laufen auf gemieteter Hardware in überschaubarer Zeit, und mehrere Anbieter bieten Fine-Tuning direkt über ihre API an. Eigene Hardware wird erst zum Thema, wenn die Trainingsdaten das Haus nicht verlassen dürfen.

Kann ein Fine-Tuning das Modell schlechter machen?

Ja. Wenn du zu lange auf einem schmalen Datensatz trainierst, überschreibt das Modell Fähigkeiten, die es vorher hatte. Deshalb gehört zu jedem Lauf ein Testsatz, der auch allgemeine Aufgaben enthält, nicht nur die eine, auf die du optimierst.

Passt thematisch dazu

Bevor du Trainingsdaten sammelst, gehört der Vergleich mit dem Abruf aus eigenen Dokumenten an den Anfang, denn viele Anforderungen lassen sich ohne Eingriff ins Modell lösen.

Persönlich für dich da