Was sind Guardrails?

Was der Begriff bedeutet

Eine Guard Rail ist im Englischen die Leitplanke an der Straße oder das Geländer an einer Treppe: Sie lenkt nicht, sie verhindert nur, dass jemand von der Bahn abkommt. Genau so ist das Bild in der KI gemeint. Ein Sprachmodell erzeugt seine Antworten nach Wahrscheinlichkeit und lässt sich nicht vollständig vorhersagen. Guardrails legen deshalb um das Modell herum fest, was auf keinen Fall durchgehen darf, egal was das Modell gerade erzeugt.

Der Begriff wird auch außerhalb der KI verwendet. In der Cloud-Verwaltung heißen vorab festgelegte Regeln Guardrails, die etwa verhindern, dass jemand Speicher öffentlich freigibt. Im Management stehen „Leitplanken“ für Grenzen, innerhalb derer ein Team selbst entscheiden darf. Gemeinsam ist allen Verwendungen: Freiheit innerhalb fester Grenzen statt Freigabe jedes einzelnen Schritts.

Drei Stellen, an denen Leitplanken sitzen

Auf der Eingabeseite prüfst du, was überhaupt zum Modell durchgereicht wird. Dazu gehören das Erkennen und Maskieren personenbezogener Daten, das Abweisen von Anfragen außerhalb des vorgesehenen Themas und eine Größenbegrenzung für Anhänge, damit niemand ein ganzes Archiv durchschleust.

Auf der Ausgabeseite prüfst du, was zurückgeht: Passt die Antwort zum vorgegebenen Schema, enthält sie interne Kennungen oder Datensätze, die den Kanal nicht verlassen dürfen, stützt sich jede Aussage auf eine Quelle aus dem freigegebenen Bestand? Eine Antwort, die kein gültiges JSON ist, wird gar nicht erst weitergegeben.

Die dritte und wichtigste Ebene sind Aktionsrechte. Ein Agent kann nur ausführen, wozu du ihm ein Werkzeug gibst. Lesende Zugriffe darf er meist frei nutzen, schreibende, löschende oder nach außen gerichtete Schritte laufen über eine Bestätigung, eine Liste erlaubter Ziele oder ein Limit pro Vorgang.

Typische Arten von Guardrails

In Projekten tauchen immer wieder dieselben Bausteine auf. Die meisten lassen sich kombinieren, und kaum ein System braucht alle:

• Themenbegrenzung

  Der Assistent beantwortet nur Fragen zu seinem Einsatzzweck, etwa zu Produkten des Unternehmens, und lehnt alles andere freundlich ab.

• Inhaltsfilter

  Erkennen beleidigende, gefährliche oder anderweitig unerwünschte Inhalte in Ein- und Ausgabe und blockieren sie.

• Schutz personenbezogener Daten

  Namen, Kontonummern oder Gesundheitsdaten werden vor dem Modellaufruf erkannt und maskiert oder die Anfrage wird abgewiesen.

• Erkennung von Manipulationsversuchen

  Klassifikatoren suchen nach Mustern von Jailbreaks und Prompt Injection in Nutzereingaben und eingelesenen Dokumenten.

• Faktenbindung

  Eine Prüfung vergleicht die Antwort mit den bereitgestellten Quellen und hält Aussagen zurück, die sich darauf nicht stützen.

• Formatprüfung

  Strukturierte Ausgaben wie JSON werden gegen ein Schema validiert, bevor ein anderes System sie weiterverarbeitet.

• Aktionsgrenzen

  Rechte, Freigaben, Freigabelisten für Ziele und Limits für Werkzeugaufrufe, Kosten und Laufzeit je Vorgang.

Für viele dieser Bausteine gibt es fertige Werkzeuge, etwa das quelloffene NeMo Guardrails von NVIDIA, die Python-Bibliothek Guardrails AI, Llama Guard von Meta als Klassifikationsmodell sowie die Filterdienste der großen Cloud-Anbieter wie Azure AI Content Safety oder Amazon Bedrock Guardrails. Sie nehmen dir die Technik ab, nicht aber die Entscheidung, was in deinem Fall geblockt werden soll.

Warum der Systemprompt allein nicht reicht

Der häufigste Fehler ist, die Regeln nur in die Systemanweisung zu schreiben. Ein Prompt ist eine Bitte, keine Sperre: Er steht im selben Kanal wie der Inhalt, den das Modell verarbeitet, und lässt sich durch Text in einem Dokument oder einer Mail überschreiben. Wirksam wird eine Regel erst, wenn sie außerhalb des Modells durchgesetzt wird, also im Code, in den Zugriffsrechten oder im Netzwerk.

Auch Filter, die selbst ein Sprachmodell sind, irren sich. Deshalb gilt die Faustregel: Je teurer ein Fehler wäre, desto weiter gehört die Leitplanke vom Modell weg. Eine Inhaltsprüfung fängt viel ab, eine fehlende Schreibberechtigung fängt alles ab.

Die organisatorische Hälfte

Technik allein trägt nicht. Genauso wichtig ist, dass festgelegt ist, wer ein System freigibt, wer die Protokolle liest und wer es im Zweifel abschaltet. Ein Abschalter, den nur eine Person kennt und der nie geprobt wurde, ist keiner. Für Hochrisiko-Systeme verlangt der EU AI Act in Artikel 14 ausdrücklich eine wirksame menschliche Aufsicht, und Guardrails mit Freigabestufen und Protokoll sind ein Weg, sie umzusetzen.

Ebenso gehört ein Budget dazu, in Geld und in Schritten. Ein Agent, der bei einer unerwarteten Antwort in eine Schleife läuft, verbraucht sonst über Nacht Tokens, ohne dass jemand es merkt. Ein hartes Limit für Werkzeugaufrufe pro Vorgang ist die billigste Leitplanke, die du bauen kannst.