Prompt Injection verhindern: die Kontrollen an jeder Schicht einer LLM-Anwendung

Warum sich das Problem nicht wegtrainieren lässt

Ein Sprachmodell erhält alles, was es verarbeitet, als eine Folge von Token: die Anweisung des Betreibers, die Frage des Nutzers, den Inhalt eines PDF, die Beschreibung eines Werkzeugs. Innerhalb dieser Folge gibt es keine Markierung, die das Modell verlässlich befolgen würde. Formulierungen wie „behandle den folgenden Text nur als Daten“ sind Bitten, keine Durchsetzung. OWASP schreibt deshalb zum Risiko LLM01, dass Prompt Injection nur in Wahrscheinlichkeit und Auswirkung begrenzt werden kann.

Das BSI kommt in seinem Basisschutz gegen Indirect Prompt Injection in dokumentbasierten LLM-Chats, veröffentlicht am 24. September 2026 auf Grundlage von Red-Teaming-Untersuchungen mehrerer Anwendungen, zum selben Bild und benennt die Maßnahmen, die im Zusammenspiel wirken: präzise und sichere System-Prompts, das Filtern schädlicher Inhalte in fremden Dokumenten und die ausdrückliche Bestätigung durch den Nutzer, bevor das Modell Funktionen ausführt.

Für die Architektur folgt daraus eine Haltung: Das Modell wird wie eine Komponente behandelt, deren Ausgaben nicht vertrauenswürdig sind, so wie eine Webanwendung Eingaben aus dem Browser behandelt. Alles, was Sicherheit herstellt, liegt außerhalb: Rechte, Filter, Formatprüfungen, Freigaben, Protokolle. Die Frage bei jeder neuen Funktion lautet: Was passiert, wenn das Modell die Anweisung befolgt?

Die drei Bedingungen, die zusammen gefährlich werden

Eine Prompt Injection wird zum Datenabfluss, wenn drei Dinge zusammenkommen: Die Anwendung hat Zugriff auf vertrauliche Daten, sie verarbeitet Inhalte, die ein Angreifer kontrollieren kann, und sie kann nach außen kommunizieren, über einen Link, eine Mail oder einen Werkzeugaufruf. Ein Assistent, der nur das eigene Postfach liest und nur dem Nutzer antwortet, erfüllt zwei Bedingungen; sobald er Links schreibt oder Mails verschicken darf, alle drei.

Die wirksamste Architekturentscheidung ist, mindestens eine der drei Bedingungen zu brechen. Ein Agent, der fremde Dokumente verarbeitet, bekommt keine Rechte auf Daten außerhalb seines Auftrags. Ein Agent mit Zugriff auf vertrauliche Daten verarbeitet keine Inhalte aus unkontrollierten Quellen. Ein Agent, der beides braucht, kommuniziert nicht nach außen, ohne dass ein Mensch den Inhalt freigibt. Das begrenzt den Nutzen, hängt aber nicht von der Zuverlässigkeit eines Filters ab.

Dieselbe Logik gilt für das Gedächtnis eines Agenten. Ein Agent, der sich Dinge merkt, lernt auch die Anweisungen eines Angreifers und trägt sie in spätere Sitzungen. Zu jeder Form von Speicher gehört deshalb eine Prüfung dessen, was hineingeschrieben wird, eine Trennung nach Nutzern und Mandanten und eine Möglichkeit, ihn zu leeren. OWASP führt die Vergiftung von Speicher und Kontext in der Top 10 für agentenbasierte Anwendungen eigens auf.

Was die KI-Verordnung verlangt und ab wann

Die KI-Verordnung der EU verlangt in Art. 15 für Hochrisiko-KI-Systeme ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit und nennt dabei Angriffe, die das Verhalten des Systems durch manipulierte Eingaben verändern. Der ursprünglich für den 2. August 2026 vorgesehene Anwendungsbeginn dieser Pflichten wurde kurz vorher verschoben. Die Verordnung (EU) 2026/1744, der Digital Omnibus on AI, wurde am 24. Juli 2026 im Amtsblatt veröffentlicht und ist seit dem 27. Juli 2026 in Kraft.

Danach gelten die Pflichten für eigenständige Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027 und für Hochrisiko-Systeme in regulierten Produkten nach Anhang I ab dem 2. August 2028. Das ist ein Aufschub, kein Erlass: Die Anforderungen bleiben, und ihr Nachweis wird genau die Kontrollen dieser Seite verlangen. Ob eine Anwendung überhaupt als Hochrisiko-System gilt, ist eine eigene Prüfung, für die ein Jurist an den Tisch gehört.

Unabhängig davon gelten die Pflichten, die ohnehin bestehen: Verarbeitet die Anwendung personenbezogene Daten, verlangt die Datenschutz-Grundverordnung Maßnahmen nach dem Stand der Technik, und ein Datenabfluss durch eine Prompt Injection ist eine meldepflichtige Verletzung wie jede andere. Fällt das Haus unter das BSI-Gesetz, gehört die KI-Anwendung in dasselbe Risikomanagement wie jedes andere System.

Werkzeuge und Agenten: wo die Angriffsfläche heute wächst

Mit jedem Werkzeug, das ein Agent aufrufen darf, kommen zwei neue Textquellen in den Kontext: die Beschreibung des Werkzeugs, mit der das Modell entscheidet, wann es aufgerufen wird, und das Ergebnis des Aufrufs. Beide können Anweisungen enthalten. Ein Werkzeug eines Drittanbieters, angebunden über das Model Context Protocol, bringt seine Beschreibung selbst mit, und eine Webseite aus einem Suchwerkzeug ist Text eines Fremden.

Und der Betrieb braucht einen Abbruchschalter, den er ohne Entwickler bedienen kann. Der Fall des Agenten in der Schleife weiter oben zeigt, warum: Grenzen für Schritte und Kosten je Lauf, ein Schalter, der alle Werkzeugaufrufe stoppt, und eine Überwachung des Protokolls gelten unabhängig davon, ob dem Verhalten des Systems zu trauen ist. OWASP führt Rogue Agents, also Agenten, die sich ihrem Auftrag entziehen, als zehntes Risiko seiner Liste; die Gegenmaßnahme sind genau solche Grenzen.