Was ist Retrieval Augmented Generation (RAG)?

So läuft eine RAG-Pipeline ab

Der Name beschreibt die Reihenfolge: Retrieval heißt Abrufen, Augmented heißt angereichert, Generation ist das Formulieren der Antwort. Der Begriff stammt aus einem Forschungspapier von 2020, in dem ein Team um Patrick Lewis ein Sprachmodell mit einem Suchindex über Wikipedia koppelte. Heute bezeichnet RAG allgemein jede Architektur, die vor dem Generieren gezielt nachschlägt. Eine typische Pipeline hat zwei Teile, die zu unterschiedlichen Zeiten laufen.

1. 1

   Aufbereiten

   Die Dokumente werden in Text umgewandelt und in Abschnitte zerlegt, die sogenannten Chunks. Zu jedem Chunk gehören Metadaten wie Quelle, Datum und Berechtigung.

2. 2

   Indexieren

   Jeder Chunk bekommt ein Embedding, also einen Zahlenvektor für seine Bedeutung, und landet in einer Vektordatenbank, oft zusätzlich in einem klassischen Stichwortindex.

3. 3

   Suchen

   Zur Frage des Nutzers sucht das System die ähnlichsten Chunks heraus. Viele Umsetzungen kombinieren Vektor- und Stichwortsuche und sortieren die Treffer mit einem Reranker neu.

4. 4

   Anreichern

   Die besten Treffer werden zusammen mit der Frage und einer Anweisung in den Prompt geschrieben, etwa: Antworte nur auf Basis dieser Auszüge und nenne die Quelle.

5. 5

   Generieren

   Das Sprachmodell formuliert die Antwort aus diesem Material und verweist im besten Fall auf die Abschnitte, aus denen sie stammt.

Die ersten beiden Schritte laufen einmalig und danach bei jeder Dokumentänderung, die letzten drei bei jeder Frage. Damit verschiebt sich die entscheidende Stellschraube: Das Modell kann nur so gut antworten, wie die gefundenen Abschnitte es hergeben. Ein großer Teil der Arbeit in einem RAG-Projekt steckt deshalb im Suchteil, nicht in der Auswahl des Sprachmodells.

Ein Beispiel aus dem Arbeitsalltag

Eine Servicemitarbeiterin fragt den internen Assistenten: Wie lange gilt die Gewährleistung auf Ersatzteile? Das System findet in der aktuellen Garantierichtlinie den Absatz zu Ersatzteilen und in einem gelösten Ticket eine Ausnahme für Verschleißteile. Beide Stellen gehen mit der Frage an das Modell, das daraus eine kurze Antwort formuliert und darunter die zwei Quellen mit Dokumentname und Stand anzeigt.

Ohne RAG hätte das Modell aus allgemeinem Wissen über Gewährleistung geantwortet, also mit gesetzlichen Fristen, die zu den Regeln eures Hauses nicht passen müssen. Genau dieser Unterschied ist der Kern: Das Modell bleibt dasselbe, aber es bekommt für jede Frage das passende Material vorgelegt.

Wofür Unternehmen RAG einsetzen

Der übliche Fall ist internes Wissen, das nirgends im Modell steckt: Arbeitsanweisungen, Produktdokumentation, Verträge, Angebote, gelöste Tickets. Ändert sich ein Dokument, tauschst du es im Index aus, ein neues Training ist nicht nötig. Genau das macht den Ansatz für Inhalte attraktiv, die sich laufend ändern, und für Fälle, in denen jede Antwort nachprüfbar sein muss.

Wichtig ist die Frage der Berechtigungen. Wenn nicht jede Person alle Dokumente sehen darf, muss die Suche vor der Antwort filtern, nicht danach. Wer diesen Punkt erst nach dem Prototyp bedenkt, baut die Datenhaltung oft komplett um.

Die Bausteine im Überblick

Ein RAG-System ist kein einzelnes Produkt, sondern ein Zusammenspiel mehrerer Komponenten. Jede davon lässt sich einzeln austauschen, und jede beeinflusst die Qualität der Antworten auf ihre eigene Weise.

Frameworks wie LangChain oder LlamaIndex verbinden diese Teile, nehmen dir aber keine der Entscheidungen ab. Neuere Varianten erweitern das Grundmuster: Beim agentischen RAG entscheidet ein KI-Agent selbst, ob und wonach er sucht, bei Graph-basierten Ansätzen werden zusätzlich Beziehungen zwischen Begriffen und Dokumenten ausgewertet.

Woran RAG-Projekte scheitern

Der häufigste Fehler ist die falsche Zerlegung der Dokumente. Zu große Abschnitte verwässern die Suche, zu kleine reißen Zusammenhänge auseinander, etwa wenn die Tabellenüberschrift im einen und die Werte im nächsten Abschnitt landen. Tabellen, Fußnoten und mehrspaltige PDF-Layouts brauchen fast immer eine eigene Behandlung.

Genauso schwer wiegt die fehlende Messung. Ohne einen Satz Testfragen mit bekannten richtigen Antworten merkst du nicht, ob eine Änderung an Zerlegung, Suche oder Prompt die Qualität verbessert oder verschlechtert hat. Und ohne sichtbare Quellenangabe unter der Antwort kann niemand nachprüfen, worauf sie beruht.