Was ist Prompt Injection?

Direkt und indirekt

Bei der direkten Variante schreibt die angreifende Person selbst in den Chat, etwa mit der Aufforderung, alle vorherigen Anweisungen zu vergessen und die interne Systemanweisung auszugeben. Das ist die bekannte Form und die harmlosere, weil sie nur so weit reicht, wie die Rechte dieser Person ohnehin reichen.

Gefährlich ist die indirekte Variante. Die Anweisung steckt dann in einem Inhalt, den das System ohnehin verarbeitet: in einem Ticket, in einer eingegangenen Mail, auf einer aufgerufenen Webseite, in einem Kommentar im Quellcode, in den Notizen eines Kalendereintrags. Niemand tippt sie ein, das System liest sie im Rahmen seiner normalen Arbeit.

Der Grund, warum das überhaupt funktioniert, steckt in der Architektur: Anweisung und zu verarbeitender Inhalt kommen beim Modell als derselbe Text an. Es gibt keine technische Trennung wie zwischen Programm und Daten in einer vorbereiteten Datenbankabfrage. Das Modell kann nicht sicher unterscheiden, was Auftrag ist und was nur Material.

Warum Filter allein nicht reichen

Naheliegend ist, verdächtige Formulierungen zu blockieren. Das hilft gegen die plumpe Variante und sonst wenig: Die Anweisung lässt sich umformulieren, in eine andere Sprache setzen, kodieren, über Zeilenumbrüche verteilen oder in ein Bild legen. Ein Filter ist eine Hürde, kein Riegel.

Richtig unangenehm wird es bei Agenten mit Werkzeugen. Wer ein Modell dazu bringt, eine Adresse aufzurufen, kann Daten aus dem laufenden Vorgang in die Adresse einbauen und so nach außen tragen, ohne je selbst Zugriff gehabt zu haben. Deshalb ist die entscheidende Frage nicht, ob eine Injection durchkommt, sondern was ein Angriff im schlimmsten Fall anrichten kann.

Was den Schaden begrenzt

Gib jedem System nur die Rechte, die es für seine Aufgabe braucht, und trenne lesende von schreibenden Zugängen. Alles, was sich nicht zurücknehmen lässt, also Löschen, Bezahlen, Versenden und Freigeben, läuft über eine Bestätigung durch einen Menschen oder gar nicht.

Behandle die Ausgabe des Modells wie eine Eingabe aus dem Internet: nie direkt ausführen, nie ungeprüft in eine Datenbank schreiben, sondern gegen ein Schema prüfen. Begrenze außerdem, wohin das System überhaupt Verbindungen aufbauen darf, denn ohne erlaubtes Ziel läuft auch ein gelungener Angriff ins Leere.

Dazu kommt das Handwerkliche: abgerufene Inhalte im Prompt klar als Material kennzeichnen, jeden Werkzeugaufruf protokollieren und das eigene System regelmäßig mit präparierten Dokumenten testen. Wer nie versucht hat, den eigenen Assistenten hereinzulegen, weiß nicht, ob die Maßnahmen greifen.