Sprachmodell mit Wissensbasis

Was ist Retrieval Augmented Generation (RAG)?

RAG

Retrieval Augmented Generation, kurz RAG, verbindet ein Sprachmodell mit einer eigenen Wissensbasis. Vor der Antwort sucht das System passende Textstellen heraus und übergibt sie dem Modell als Kontext, sodass die Antwort auf deinen Dokumenten beruht und nicht allein auf dem Trainingswissen.

Ein Sprachmodell kennt dein Preisverzeichnis und deine Betriebsanweisung nicht, weil beides nie im Training vorkam und sich alle paar Wochen ändert.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Drei Schritte: Zerlegen, suchen, antworten lassen
Typisch bei: Handbüchern, Richtlinien, Ticketwissen
Braucht: Gepflegte Dokumente mit klarem Stand
Verwechselt mit: Fine-Tuning

Die drei Schritte einer RAG-Pipeline

Zuerst werden die Dokumente in Abschnitte zerlegt und durchsuchbar gemacht, klassisch über Stichwörter, über Vektoren oder über beides. Kommt eine Frage, sucht das System die am besten passenden Abschnitte heraus. Diese Abschnitte landen zusammen mit der Frage im Prompt, und erst dann formuliert das Modell die Antwort.

Damit verschiebt sich die entscheidende Stellschraube. Das Modell kann nur so gut antworten, wie die gefundenen Abschnitte es hergeben. Ein großer Teil der Arbeit in einem RAG-Projekt steckt deshalb im Suchteil, nicht in der Auswahl des Sprachmodells.

Wofür Unternehmen RAG einsetzen

Der übliche Fall ist internes Wissen, das nirgends im Modell steckt: Arbeitsanweisungen, Produktdokumentation, Angebote, gelöste Tickets. Ändert sich ein Dokument, tauschst du es im Index aus, ein neues Training ist nicht nötig. Genau das macht den Ansatz für Inhalte attraktiv, die sich laufend ändern.

Wichtig ist die Frage der Berechtigungen. Wenn nicht jede Person alle Dokumente sehen darf, muss die Suche vor der Antwort filtern, nicht danach. Wer diesen Punkt erst nach dem Prototyp bedenkt, baut die Datenhaltung oft komplett um.

Woran RAG-Projekte scheitern

Der häufigste Fehler ist die falsche Zerlegung der Dokumente. Zu große Abschnitte verwässern die Suche, zu kleine reißen Zusammenhänge auseinander, etwa wenn die Tabellenüberschrift im einen und die Werte im nächsten Abschnitt landen. Tabellen, Fußnoten und mehrspaltige PDF-Layouts brauchen fast immer eine eigene Behandlung.

Genauso schwer wiegt die fehlende Messung. Ohne einen Satz Testfragen mit bekannten richtigen Antworten merkst du nicht, ob eine Änderung an Zerlegung, Suche oder Prompt die Qualität verbessert oder verschlechtert hat. Und ohne sichtbare Quellenangabe unter der Antwort kann niemand nachprüfen, worauf sie beruht.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Retrieval Augmented Generation und was oft damit gleichgesetzt wird

Retrieval Augmented Generation gegen Fine-Tuning

Beim Fine-Tuning wird das Modell selbst weitertrainiert. Das eignet sich für Stil, Format und Verhalten, aber schlecht für Fachwissen, das sich ändert. RAG lässt das Modell unangetastet und tauscht stattdessen die Dokumente aus.

Retrieval Augmented Generation gegen Prompt Engineering

Beim Prompt Engineering formulierst du Anweisung und Kontext von Hand. RAG automatisiert genau diesen Kontextteil, indem das System die passenden Stellen selbst heraussucht und einsetzt.

Retrieval Augmented Generation gegen Klassische Volltextsuche

Eine Volltextsuche liefert eine Trefferliste, die jemand lesen muss. RAG nutzt dieselbe Suche als Zwischenschritt und lässt das Modell aus den Treffern eine formulierte Antwort bauen.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Die Antwort entscheidet sich beim Suchen, nicht beim Modell

Wenn die Antworten schwach sind, drehen die meisten Vorhaben zuerst am Prompt und wechseln dann das Modell. Beides bringt nichts, solange die richtige Textstelle gar nicht unter den gefundenen Treffern ist. Prüf deshalb zuerst getrennt, ob die Suche für eine echte Nutzerfrage die passende Passage liefert. Meist liegt es an der Zerlegung: zu große Abschnitte verwässern, zu kleine verlieren den Zusammenhang, und Überschriften stehen nicht mehr bei dem Absatz, zu dem sie gehören. Tabellen und mehrspaltige PDF-Seiten zerfallen dabei besonders zuverlässig.

Berechtigungen musst du beim Suchen durchsetzen, nicht bei der Ausgabe. Liegen Personalunterlagen im selben Index wie das Handbuch, gibt der Assistent bereitwillig Auskunft über Dinge, die im Dateisystem längst gesperrt sind. Das heißt: Zu jedem Abschnitt gehört die Information, wer ihn sehen darf, und der Filter greift, bevor das Modell den Text überhaupt zu Gesicht bekommt.

Der Betrieb steht und fällt mit der Pflege. Eine zurückgezogene Anweisung, die im Index liegen bleibt, wird bereitwillig zitiert, und weil die Antwort eine Quelle nennt, wirkt sie besonders glaubwürdig. Du brauchst deshalb einen Weg, Dokumente wieder zu entfernen, ein sichtbares Datum an jeder Quellenangabe und jemanden, der für den Bestand zuständig ist.

Retrieval Augmented Generation lernen

Wie du eine solche Pipeline aufbaust, absicherst und bewertest, zeigen die Trainings zum Bau von LLM-Anwendungen an lauffähigem Code.

Was unter der Suche liegt, von der Indexwahl bis zur Aktualisierung, behandeln die Kurse zur Speicherschicht von KI-Anwendungen .

Wissen prüfen

Sitzt Retrieval Augmented Generation schon?

Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.

Wissenstest KI Grundlagen QuizTeste dein Verständnis für Sprachmodelle, Kontextfenster, Halluzinationen und den sicheren Umgang mit KI im Job. Quiz starten Wissenstest Prompt Engineering QuizTeste dein Wissen zu LLMs, Prompting-Techniken, Chain-of-Thought, Few-Shot und Halluzinationen. Quiz starten

Kurse, die Retrieval Augmented Generation behandeln

Häufige Fragen

Brauche ich für RAG zwingend eine Vektordatenbank?

Nein. In vielen Fällen reicht eine gute Stichwortsuche oder eine Kombination aus beidem. Eine Vektordatenbank lohnt sich, wenn Menschen anders fragen, als es in den Dokumenten steht, und die reine Wortübereinstimmung deshalb zu wenig findet.

Halluziniert ein Modell mit RAG nicht mehr?

Seltener, aber es kommt weiterhin vor. Wenn die Suche nichts Passendes liefert, füllt das Modell die Lücke trotzdem gern. Deshalb gehören zu jeder ernsthaften Umsetzung eine Anweisung, bei fehlender Grundlage keine Antwort zu geben, und sichtbare Quellenangaben.

Wie merke ich, ob mein RAG-System gut genug ist?

Mit einem festen Satz Testfragen, zu denen die richtige Antwort und der richtige Quellabschnitt bekannt sind. Damit misst du getrennt, ob die Suche die richtige Stelle findet und ob die Antwort zu dieser Stelle passt.

Passt thematisch dazu

Welches Sprachmodell die herausgesuchten Textstellen am Ende verarbeitet, ist eine eigene Entscheidung, bei der die Auswahl nach Aufgabe statt nach Ranglisten weiterhilft.

Persönlich für dich da