Wenn die KI überzeugend danebenliegt

Warum ein Modell überhaupt erfindet

Das Modell hat kein Konzept von wahr und falsch, es hat ein Konzept von wahrscheinlich. Bei einer Frage nach einer Norm, einer Telefonnummer oder einem Paragrafen erzeugt es die Zeichenfolge, die an dieser Stelle am plausibelsten wirkt. Das Ergebnis sieht aus wie eine Quellenangabe, weil es die Form einer Quellenangabe gelernt hat.

Verstärkt wird das durch die Art, wie Assistenzsysteme abgestimmt werden: Antworten, die hilfreich wirken, werden bevorzugt. Ein klares „Ich weiß es nicht“ wirkt selten hilfreich. Wer nichts dagegen unternimmt, bekommt ein System, das lieber rät als schweigt.

Die Fragen, bei denen es regelmäßig schiefgeht

Erfindungen häufen sich an erkennbaren Stellen: bei Zahlen und Datumsangaben, bei Namen von Personen und Produkten, bei Rechtsnormen und Aktenzeichen, bei allem, was nach dem Wissensstand des Modells passiert ist, und bei Nischenthemen mit wenig Trainingsmaterial. Auch Zusammenfassungen sind betroffen, wenn im Ausgangstext etwas fehlt, das die Zusammenfassung schlüssig erscheinen ließe.

Ein zweiter Auslöser ist die Frage selbst. Wer eine falsche Annahme in die Frage einbaut, bekommt sie oft bestätigt zurück, weil das Modell dem Gesprächsverlauf folgt. Wenn du wissen willst, ob es etwas gibt, frag nicht, wie es funktioniert.

Was im Alltag wirklich hilft

Der wirksamste Hebel ist, dem Modell die Fakten selbst vorzulegen, statt sie aus ihm herauszufragen. Eine Antwort auf Grundlage angehängter Auszüge lässt sich prüfen, eine Antwort aus dem Gedächtnis nicht. Dazu gehört die Anweisung, sich ausschließlich auf das vorgelegte Material zu stützen und fehlende Angaben ausdrücklich als fehlend zu benennen.

Im Prompt hilft außerdem, Unsicherheit zu erlauben und einen Prüfschritt zu verlangen: erst die Belegstellen benennen, dann die Antwort formulieren. Was ohne Beleg dasteht, gilt im Team als unbestätigt. Bei heiklen Ausgaben braucht es zusätzlich eine benannte Person, die freigibt, sonst wandert die Verantwortung stillschweigend an das Werkzeug.

Prüfen, ohne alles doppelt zu machen

Eine vollständige Kontrolle jeder Ausgabe frisst den Zeitgewinn auf. Sinnvoller ist eine Abstufung nach möglichem Schaden: Was intern als Entwurf weiterläuft, wird stichprobenartig geprüft, was an Kundschaft, Behörden oder in Verträge geht, vollständig und von jemandem mit Fachkenntnis.

Prüfbar wird eine Antwort nur, wenn sie prüfbar formuliert ist. Verlange getrennte Aussagen statt eines Fließtexts, in dem Beleg und Schlussfolgerung verschmelzen. Zahlen, Namen und Zitate werden gegen die Quelle gehalten, nicht gegen das Bauchgefühl, und wer die Quelle nicht findet, streicht die Aussage.

Halluzinationen verschwinden nicht, sie werden beherrschbar

Kein Verfahren bringt die Rate auf null. Quellenanbindung senkt sie deutlich, ein zweiter Durchlauf zum Gegenlesen fängt weitere Fälle ab, eine feste Testsammlung macht Verschlechterungen nach einem Modellwechsel sichtbar. Der Rest ist eine organisatorische Frage: Welche Ausgabe darf ungeprüft weiterwandern und welche nicht.