Was ist erklärbare KI?

Global und lokal sind zwei verschiedene Fragen

Eine globale Erklärung beantwortet, worauf ein Modell insgesamt achtet, also welche Merkmale über alle Fälle hinweg am meisten zählen. Sie hilft beim Entwickeln und bei der Abnahme, weil sie zeigt, ob das Modell überhaupt die Zusammenhänge gelernt hat, die fachlich zu erwarten sind.

Eine lokale Erklärung beantwortet, warum genau dieser eine Fall so entschieden wurde. Sie ist das, was eine Sachbearbeiterin für eine Rückfrage braucht oder was ein Kunde wissen will, dessen Antrag abgelehnt wurde. Ein Modell kann global plausibel aussehen und im Einzelfall trotzdem aus fragwürdigen Gründen entscheiden, deshalb braucht es meist beide Blickwinkel.

Die wichtigsten Verfahren im Überblick

Die meisten Verfahren arbeiten modellunabhängig: Sie befragen das Modell mit veränderten Eingaben und schließen aus den Reaktionen auf seine Entscheidungslogik. Diese sind in der Praxis verbreitet:

SHAP beruht auf den Shapley-Werten aus der Spieltheorie und hat sich als Standard für tabellarische Daten durchgesetzt. Für Gespräche mit Betroffenen ist die kontrafaktische Erklärung oft am nützlichsten, weil sie in einem Satz sagt, was anders hätte sein müssen.

Erklärbarkeit bei Sprachmodellen

Bei großen Sprachmodellen stoßen die klassischen Verfahren an Grenzen, weil es keine überschaubare Zahl von Eingabemerkmalen gibt. Naheliegend scheint, das Modell einfach nach seiner Begründung zu fragen. Doch was ein Sprachmodell als Begründung ausgibt, ist selbst erzeugter Text und muss nicht dem tatsächlichen Rechenweg entsprechen, auch die sichtbaren Denkschritte von Reasoning-Modellen nicht.

Im Unternehmensalltag hilft deshalb eher eine praktische Form der Nachvollziehbarkeit: Antworten mit Quellenangaben, wie sie Retrieval Augmented Generation liefert, protokollierte Eingaben und Ausgaben und Testfälle, an denen sich das Verhalten prüfen lässt. Die Forschung zur mechanistischen Interpretierbarkeit untersucht, was in den Modellen tatsächlich passiert, ist aber noch kein Werkzeug für den Betrieb.

Wozu Betriebe die Nachweise brauchen

Der erste Grund ist die eigene Fehlersuche. Erklärungen decken auf, dass ein Modell auf ein Merkmal setzt, das die Antwort schon enthält, etwa ein Feld, das erst nach der Entscheidung gefüllt wird. Solche Abkürzungen bleiben in reinen Gütezahlen unsichtbar, weil sie die Ergebnisse ja verbessern.

Der zweite Grund ist die Abnahme durch die Fachabteilung. Wer die Verantwortung für eine Ablehnung trägt, will nachvollziehen können, worauf sie beruht, und das lässt sich nicht durch eine Trefferquote ersetzen.

Der dritte Grund ist die Regulierung. Der EU AI Act verlangt für Hochrisiko-Systeme, dass Betreiber die Ausgaben angemessen interpretieren können (Artikel 13) und dass Menschen das System wirksam beaufsichtigen (Artikel 14). Nach der Änderung durch die Verordnung (EU) 2026/1744 gelten diese Pflichten für Hochrisiko-Systeme nach Anhang III ab dem 2. Dezember 2027. Wer keinen Einblick in die Entscheidungsgrundlage hat, kann ein Ergebnis nur noch abnicken.

Grenzen der Verfahren

Jede dieser Erklärungen ist selbst eine Näherung, also ein Modell des Modells. Verfahren, die das Modell von außen befragen, arbeiten mit künstlich veränderten Eingaben, die es im echten Datenbestand nie gibt. Zwei Verfahren können deshalb unterschiedliche Bilder liefern, was für sich schon eine Information ist: An dieser Stelle ist das Modell instabil.

Dazu kommt der Rechenaufwand: Exakte Shapley-Werte sind bei vielen Merkmalen kaum berechenbar, weshalb in der Anwendung Näherungen laufen. Und eine plausible Erklärung ist kein Qualitätsnachweis. Ein Modell kann aus nachvollziehbaren Gründen falsch liegen, deshalb ersetzt Erklärbarkeit weder saubere Bewertung auf Testdaten noch die Überwachung im laufenden Betrieb.