Was ist ein Large Language Model (LLM)?
LLM
Ein Large Language Model ist ein neuronales Netz, das aus sehr großen Textmengen gelernt hat, das jeweils nächste Textstück vorherzusagen. Aus dieser einen Fähigkeit entstehen Antworten, Übersetzungen, Zusammenfassungen und Programmcode.
Ob Chatassistent, Übersetzungshilfe oder Codevorschlag im Editor, dahinter steckt fast immer dasselbe Bauteil, und seine Funktionsweise erklärt auch die typischen Fehler.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
- Gehört zu
- Generative KI
- Rechnet mit
- Tokens, nicht Buchstaben oder Wörtern
- Typisch bei
- Textentwürfen, Zusammenfassungen, Codehilfe
- Verwechselt mit
- Dem Chatbot als fertigem Produkt
Vom Text zur Vorhersage
Eingehender Text wird zuerst in Tokens zerlegt und in Zahlenvektoren übersetzt. Diese laufen durch viele Schichten eines Transformers, dessen Aufmerksamkeitsmechanismus für jedes Token gewichtet, welche anderen Stellen im Text gerade wichtig sind. Genau dadurch bezieht ein Modell ein Pronomen auf das richtige Substantiv, auch wenn zwei Absätze dazwischenliegen.
Am Ende steht keine fertige Antwort, sondern eine Wahrscheinlichkeitsverteilung über das nächste Token. Aus dieser Verteilung wird ausgewählt, das gewählte Token angehängt, und der ganze Vorgang beginnt von vorn. Weil dabei nicht immer die wahrscheinlichste Option genommen wird, bekommst du auf dieselbe Frage nicht jedes Mal denselben Wortlaut.
Wie ein Modell entsteht
Im Vortraining lernt das Netz an riesigen Textmengen die Struktur von Sprache und nebenbei einen großen Teil dessen, was in diesen Texten stand. Das Ergebnis ist ein Basismodell, das Text fortsetzt, aber noch keine Anweisungen befolgt.
Erst danach folgt die Ausrichtung auf den Dialog: Das Modell wird auf Beispielen aus Anweisung und gewünschter Antwort nachtrainiert und anschließend anhand menschlicher Bewertungen weiter angepasst. Deshalb verhält sich ein Chatmodell so anders als das rohe Basismodell, obwohl darunter dieselbe Technik steckt.
Offen oder über eine Schnittstelle
Ein Teil der Modelle ist nur über die Schnittstelle des Anbieters nutzbar. Bei anderen sind die Gewichte zum Herunterladen freigegeben, sodass du sie auf eigener Hardware betreiben, anpassen und für kleinere Geräte verkleinern kannst. Offene Gewichte bedeuten dabei nicht automatisch freie Nutzung: Die Lizenzen unterscheiden sich, und manche begrenzen den kommerziellen Einsatz oder die Weitergabe. Der Unterschied entscheidet weniger über die Qualität als darüber, wo deine Daten verarbeitet werden und wovon dein Betrieb dauerhaft abhängt.
Größe wird meist über die Zahl der Parameter angegeben. Sie sagt etwas über den Speicherbedarf und grob über die Leistungsfähigkeit, aber wenig über die Eignung für deine Aufgabe. Ein kleineres, gut angepasstes Modell schlägt bei einer engen Aufgabe regelmäßig das größere Allzweckmodell.
Was ein LLM nicht ist
Ein Sprachmodell hat keine Faktendatenbank, in der es nachschlagen könnte, und keinen Zugriff auf deine Systeme, solange du ihm keine Werkzeuge gibst. Es weiß nichts über Ereignisse nach dem Ende seines Trainings, und es rechnet nicht, sondern setzt Ziffernfolgen fort, die plausibel aussehen.
Für jede dieser Lücken gibt es einen Baustein daneben: den Abruf aus Dokumenten für Fakten, Werkzeugaufrufe für Systemzugriff, einen Taschenrechner oder Code für Zahlen. Wer das Modell allein lässt, bekommt die bekannten Fehler geliefert.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Large Language Model und was oft damit gleichgesetzt wird
Der Chatbot ist das Produkt drumherum: Oberfläche, Verlauf, Rechteverwaltung, Dateiablage. Das Sprachmodell ist nur der Motor darin und lässt sich austauschen.
NLP ist das ganze Feld der maschinellen Sprachverarbeitung, das lange vor den heutigen Modellen begann. Ein LLM ist ein Werkzeug innerhalb dieses Feldes, für manche Aufgaben ein überdimensioniertes.
KI ist der Oberbegriff und umfasst auch Bilderkennung, Prognosen oder Regelungstechnik. Sprachmodelle sind nur ein Ausschnitt davon, allerdings der sichtbarste.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Das Modell ist selten das, was im Betrieb Ärger macht
Im Unternehmen begegnet dir ein Sprachmodell fast nie roh, sondern eingebaut in ein Produkt, das noch eine Suche, eine Rechteprüfung und einen Systemprompt darum herum legt. Wenn eine Antwort schlecht ist, liegt das häufiger an den Daten, die das Produkt dem Modell mitgibt, als am Modell selbst. Bevor du also das Modell tauschst, sieh nach, welcher Text überhaupt in der Anfrage gelandet ist.
Die zweite Überraschung sind Versionswechsel. Anbieter aktualisieren ihre Modelle, und eine Formulierung, die vorher zuverlässig eine Tabelle im gewünschten Aufbau geliefert hat, tut das danach nicht mehr. Wer Anweisungen produktiv einsetzt, braucht eine kleine Sammlung echter Testfälle, die nach jedem Wechsel einmal durchläuft.
Und drittens kippt die Kostenrechnung meist erst im Betrieb. In der Erprobung schickt jemand kurze Fragen, in der Anwendung hängen an jeder Anfrage ein langer Systemprompt und mehrere Dokumentenauszüge. Abgerechnet wird nach Tokens, der Preis wächst also mit der Textmenge und nicht mit der Zahl der Klicks.
Large Language Model lernen
Wie du ein Modell über eine Schnittstelle in eine eigene Anwendung einbaust, üben die Kurse zur Programmierung von KI-Anwendungen an lauffähigem Code.
Wer ein offenes Modell selbst hosten und anpassen will, findet dafür die Trainings zum Betrieb eigener Sprachmodelle .
Sitzt Large Language Model schon?
Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.
Kurse, die Large Language Model behandeln
Häufige Fragen
Was ist der Unterschied zu einer Suchmaschine?
Was sagt die Parameterzahl aus?
Kann ein LLM zuverlässig rechnen?
Deine Ansprechpartner
Du willst das Thema nicht nur nachschlagen, sondern anwenden können? Wir beraten dich persönlich und kostenlos.
Yves Hoppe
Weiterbildung & Beratung
Ordnet mit dir ein, welcher Kurs zu deinem Vorwissen passt.
Norbert Jansen
Beratung & Inhouse
Plant Inhouse-Trainings, die an euren eigenen Daten und Abläufen ansetzen.
Large Language Model im Kurs statt im Lexikon
Nachschlagen bringt dich bis zum Verstehen. Anwenden lernst du an echten Aufgaben.
Verwandte Begriffe
Alle Begriffe im Glossar