Verlässlichkeit von Sprachmodellen

Was ist eine Halluzination bei KI?

Hallucination

Als Halluzination bezeichnet man eine Antwort eines KI-Sprachmodells, die sprachlich überzeugend wirkt, inhaltlich aber falsch oder frei erfunden ist, etwa ein Paragraf, eine Quelle oder eine Zahl, die es so nicht gibt.

Wer ein Sprachmodell im Arbeitsalltag einsetzt, bekommt früher oder später eine Antwort, die sauber formuliert ist und dabei eine Quelle nennt, die es gar nicht gibt.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Betrifft: Alle generativen Sprachmodelle
Typisch bei: Quellen, Paragrafen, Zahlen und Zitaten
Gegenmittel: Belege im Prompt und Gegenprüfung
Verwechselt mit: Bias und veraltetem Wissensstand

Warum das Modell nicht lügt, sondern rät

Ein Sprachmodell schlägt nichts nach. Es setzt Wort für Wort das fort, was nach seinem Training am wahrscheinlichsten passt. Für eine erfundene Quellenangabe ist das derselbe Vorgang wie für eine richtige: Titel, Verlag und Seitenzahl in der üblichen Form sind sprachlich plausibel, ob es das Buch gibt, prüft dabei niemand.

Deshalb klingt eine falsche Antwort genauso sicher wie eine richtige. Das Modell hat kein eingebautes Signal für Nichtwissen, und Nachfragen erzeugt oft nur eine neue Variante derselben Erfindung.

Woran du sie erkennst

Riskant sind genau die Stellen, die besonders überzeugend aussehen: exakte Paragrafen und Aktenzeichen, Studien mit Jahresangabe, Prozentwerte, wörtliche Zitate, Personen mit Funktion, Produktfunktionen samt Menüpfad. Je konkreter die Angabe und je enger das Fachgebiet, desto höher die Wahrscheinlichkeit, dass sie erfunden ist.

Ein einfacher Test hilft: Lass dir die Fundstelle nennen und such sie selbst. Existiert die Seite nicht, war die Angabe erfunden. Bei internen Themen läuft derselbe Test über das Dokument: Lass dir nennen, aus welcher Datei die Aussage stammt, und schlag dort nach.

Was im Alltag dagegen hilft

Am wirksamsten ist, dem Modell das Material mitzugeben, statt es aus dem Gedächtnis antworten zu lassen. Wenn Vertrag, Handbuch oder Protokoll im Kontext liegen, sinkt die Zahl frei erfundener Angaben deutlich, und du kannst die Antwort gegen den Text prüfen. Verfahren, die vor der Antwort automatisch in einer Dokumentensammlung suchen, laufen unter dem Namen Retrieval Augmented Generation.

Dazu kommen zwei organisatorische Regeln. Erstens verlässt kein KI-Text das Haus ohne fachliche Prüfung durch jemanden, der das Thema beurteilen kann. Zweitens gilt für Rechtsfragen, medizinische Aussagen und Zahlen im Reporting eine Belegpflicht, die Antwort allein reicht als Grundlage nicht.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Halluzination und was oft damit gleichgesetzt wird

Halluzination gegen Bias

Ein Bias ist eine systematische Schieflage aus den Trainingsdaten, etwa eine einseitige Darstellung von Berufsgruppen. Die einzelne Aussage kann dabei formal stimmen. Eine Halluzination ist dagegen schlicht falsch.

Halluzination gegen Knowledge Cutoff

Kennt ein Modell eine Gesetzesänderung nicht, weil sein Trainingsstand älter ist, ist die Antwort veraltet, nicht erfunden. Beides führt zu falschen Ergebnissen, gegen Halluzinationen hilft aber nur die Prüfung, ob es die genannte Sache überhaupt gibt.

Halluzination gegen Prompt Injection

Bei einer Prompt Injection stehen versteckte Anweisungen in den mitgelieferten Daten, etwa in einer Webseite oder Mail, und lenken das Modell absichtlich. Das ist ein Angriff von außen, kein Irrtum des Modells.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Gefährlich wird es dort, wo die Antwort niemand mehr prüft

Der typische Fall ist kein offensichtlicher Unsinn, sondern eine Kleinigkeit im Fließtext: ein Paragraf, der zum Thema passt, aber in einem anderen Gesetz steht, ein Normenverweis mit falscher Nummer, ein Firmenname, der plausibel klingt. Solche Stellen überleben die Durchsicht, weil der Rest des Textes stimmt und niemand einen Fehler an einer Stelle erwartet, an der alles glatt liest.

Im Betrieb hilft weniger ein Verbot als der Zuschnitt der Aufgabe. Gib dem Modell die Unterlagen mit, aus denen es antworten soll, und verlange die Textstelle wörtlich statt einer Zusammenfassung. Bei allem, was nach draußen geht oder rechtlich bindet, bleibt eine Person verantwortlich, die den Beleg selbst öffnet. Zahlen, Namen und Zitate gehören dabei immer auf die Prüfliste, weil das die Kategorien sind, in denen ein Modell am zuverlässigsten danebengreift.

Was die Sache verschärft: Nachfragen hilft nur begrenzt. Fragst du das Modell, ob es sicher sei, bekommst du je nach Formulierung der Frage eine ebenso überzeugte Bestätigung oder einen prompten Rückzieher. Sicherheit liefert die Quelle, nicht das Modell.

Halluzination lernen

Wie du Antworten systematisch gegenprüfst und Aufgaben so zuschneidest, dass wenig Raum zum Erfinden bleibt, üben die KI-Kurse für den Büroalltag an echten Dokumenten.

Welches Werkzeug für welche Aufgabe taugt, sortieren die Tool-Kurse für den Arbeitsalltag .

Wissen prüfen

Sitzt Halluzination schon?

Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.

Wissenstest KI Grundlagen QuizTeste dein Verständnis für Sprachmodelle, Kontextfenster, Halluzinationen und den sicheren Umgang mit KI im Job. Quiz starten Wissenstest Prompt Engineering QuizTeste dein Wissen zu LLMs, Prompting-Techniken, Chain-of-Thought, Few-Shot und Halluzinationen. Quiz starten

Kurse, die Halluzination behandeln

Häufige Fragen

Kann man Halluzinationen ganz abschalten?

Nein. Das folgt aus der Funktionsweise, denn das Modell erzeugt wahrscheinlichen Text und hat keine eingebaute Wahrheitsprüfung. Mit mitgelieferten Quellen, eng gefassten Aufgaben und konsequentem Nachprüfen lässt sich die Häufigkeit stark senken, das Risiko aber nicht auf null bringen.

Halluziniert ein Assistent auch, wenn er nur unsere eigenen Dateien nutzt?

Seltener, aber ja. Der Zugriff auf echte Dokumente verankert die Antwort, das Modell fasst jedoch weiterhin zusammen und kann dabei Aussagen der falschen Datei zuordnen, Zahlen aus zwei Quellen mischen oder eine fehlende Angabe ergänzen. Öffne die genannte Fundstelle deshalb stichprobenweise.

Hilft es, die KI zu fragen, ob sie sich sicher ist?

Kaum. Die Selbsteinschätzung ist ebenfalls erzeugter Text und richtet sich danach, was plausibel klingt. Überprüft wird dabei nichts, und viele Modelle entschuldigen sich auch für richtige Aussagen, sobald du widersprichst.

Persönlich für dich da