Nachvollziehbarkeit von Modellen

Was ist erklärbare KI?

Explainable AI, kurz XAI

Erklärbare KI umfasst Verfahren, die sichtbar machen, warum ein Modell zu einem bestimmten Ergebnis gekommen ist, also welche Eingabemerkmale eine Vorhersage in welche Richtung getrieben haben. Das Ziel ist eine Begründung, die Fachleute und Betroffene prüfen können, ohne das Modell selbst zu verstehen.

Wenn ein Modell über Kredite, Bewerbungen oder Prüffälle mitentscheidet, reicht das Ergebnis nicht, jemand muss die Begründung nachvollziehen können.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Zwei Ebenen: Global für das Modell, lokal für den Einzelfall
Verfahren: Merkmalsgewichte, SHAP, LIME, kontrafaktische Erklärungen
Gebraucht bei: Entscheidungen über Menschen und bei Prüfungen
Verwechselt mit: Von Haus aus interpretierbaren Modellen

Global und lokal sind zwei verschiedene Fragen

Eine globale Erklärung beantwortet, worauf ein Modell insgesamt achtet. Dafür misst man etwa, wie stark die Güte einbricht, wenn ein Merkmal zufällig durcheinandergewürfelt wird, oder zeichnet auf, wie sich die Vorhersage über den Wertebereich eines Merkmals verändert.

Eine lokale Erklärung beantwortet, warum genau dieser Fall so entschieden wurde. SHAP verteilt die Abweichung der Vorhersage vom Durchschnitt auf die einzelnen Merkmale, jedes bekommt einen Beitrag mit Vorzeichen. LIME geht anders vor und legt in der unmittelbaren Umgebung des Falls ein einfaches, lesbares Ersatzmodell an. Für Gespräche mit Betroffenen ist oft eine dritte Form am nützlichsten: die Gegenüberstellung, was anders hätte sein müssen, damit die Entscheidung anders ausgefallen wäre.

Wozu Betriebe die Nachweise brauchen

Der erste Grund ist die eigene Fehlersuche. Erklärungen decken auf, dass ein Modell auf ein Merkmal setzt, das die Antwort schon enthält, etwa ein Feld, das erst nach der Entscheidung gefüllt wird. Solche Abkürzungen bleiben in reinen Gütezahlen unsichtbar, weil sie die Ergebnisse ja verbessern.

Der zweite Grund ist die Abnahme durch die Fachabteilung. Wer die Verantwortung für eine Ablehnung trägt, will nachvollziehen können, worauf sie beruht, und das lässt sich nicht durch eine Trefferquote ersetzen.

Der dritte Grund ist die Dokumentation gegenüber Prüfern. Wo ein Modell Menschen betrifft, verlangen Aufsichtsbehörden und interne Revision eine begründbare Entscheidung, und der EU AI Act verlangt in Artikel 14 für Hochrisiko-Systeme eine wirksame menschliche Aufsicht. Wer keinen Einblick in die Entscheidungsgrundlage hat, kann nur noch abnicken.

Grenzen der Verfahren

Jede dieser Erklärungen ist selbst eine Näherung, also ein Modell des Modells. Sind Merkmale stark miteinander korreliert, etwa Postleitzahl und Kaufkraft, verteilen die Verfahren den Beitrag zwischen ihnen unterschiedlich, und die Erklärung wirkt eindeutiger, als die Datenlage hergibt.

Dazu kommt der Rechenaufwand: Exakte Beiträge sind bei vielen Merkmalen aufwendig, weshalb in der Anwendung Näherungen laufen. Und eine plausible Erklärung ist kein Qualitätsnachweis. Ein Modell kann aus nachvollziehbaren Gründen falsch liegen, deshalb ersetzt Erklärbarkeit weder saubere Bewertung auf Testdaten noch die Überwachung im laufenden Betrieb.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Erklärbare KI und was oft damit gleichgesetzt wird

Erklärbare KI gegen Interpretierbares Modell

Eine Regression oder ein flacher Entscheidungsbaum ist von sich aus lesbar, dort braucht es keine nachträgliche Erklärung. Erklärbare KI setzt erst dort an, wo ein Modell selbst nicht mehr überschaubar ist.

Erklärbare KI gegen Fairness

Erklärungen zeigen, welche Merkmale gewirkt haben. Ob eine damit verbundene Ungleichbehandlung zulässig ist, beantworten sie nicht. Dafür braucht es eigene Kennzahlen und eine fachliche Entscheidung.

Erklärbare KI gegen Modellüberwachung

Die Überwachung im Betrieb misst, ob sich Daten und Güte über die Zeit verschieben. Erklärbarkeit sagt etwas über einzelne Entscheidungen, nicht über den Zustand des Modells.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Eine Erklärung ist eine Näherung, kein Beweis

Die gängigen Verfahren beantworten die Frage, welche Merkmale eine Vorhersage in welche Richtung geschoben haben. Über Ursachen sagen sie nichts. Wenn die Postleitzahl stark ins Gewicht fällt, heißt das nicht, dass der Wohnort die Ursache ist, sondern meist, dass er für etwas anderes steht, das im Datensatz fehlt. Genau solche Stellvertreter machen diese Verfahren sichtbar, und genau dort wird es rechtlich heikel.

Für Betroffene taugt eine Merkmalsliste außerdem selten als Auskunft. Wer erfahren will, warum ein Antrag abgelehnt wurde, braucht einen verständlichen Satz und am besten die Angabe, was anders hätte sein müssen. Solche kontrafaktischen Erklärungen sind mehr Arbeit als ein Diagramm, aber sie sind das, wonach jemand tatsächlich fragt.

Und die Erklärung selbst kann danebenliegen. Verfahren, die das Modell von außen befragen, arbeiten mit künstlich veränderten Eingaben, die es im echten Datenbestand nie gibt. Zwei Verfahren können deshalb unterschiedliche Bilder liefern, was für sich schon eine Information ist: An dieser Stelle ist das Modell instabil.

Erklärbare KI lernen

Wie du Erklärungen fest in den Modellbetrieb einbaust, statt sie einmalig zum Projektende zu erzeugen, behandeln die Schulungen zur Nachvollziehbarkeit von Modellentscheidungen .

Welche Nachweise ihr bei regulierten Anwendungen vorlegen müsst, ordnen die Seminare zu Pflichten und Risiken beim KI-Einsatz ein.

Wissen prüfen

Sitzt Erklärbare KI schon?

Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.

Wissenstest KI Grundlagen QuizTeste dein Verständnis für Sprachmodelle, Kontextfenster, Halluzinationen und den sicheren Umgang mit KI im Job. Quiz starten

Kurse, die Erklärbare KI behandeln

Häufige Fragen

Was sagt ein SHAP-Wert genau aus?

Er gibt an, wie stark ein einzelnes Merkmal die Vorhersage für diesen Fall vom Durchschnittswert weggeschoben hat, mit Richtung und Größe. Die Beiträge aller Merkmale summieren sich zur Abweichung vom Durchschnitt, deshalb lässt sich ein Ergebnis damit vollständig aufteilen.

Reicht Erklärbarkeit, um regulatorische Anforderungen zu erfüllen?

Sie ist ein Baustein, nicht die Lösung. Verlangt werden meist auch Dokumentation der Daten, Risikobetrachtung, Protokollierung und eine benannte Zuständigkeit für die Aufsicht. Erklärungen machen die Aufsicht möglich, ersetzen die übrigen Nachweise aber nicht.

Wann nehme ich lieber gleich ein einfaches Modell?

Wenn die Entscheidung Menschen betrifft und begründet werden muss, und der Genauigkeitsgewinn des komplexen Modells klein ist. Ein lesbares Modell spart die gesamte Erklärungsmaschinerie und die Diskussion darüber, wie belastbar deren Ergebnisse sind.

Persönlich für dich da