Den ROI eines KI-Vorhabens belastbar rechnen

Ohne Ausgangswert gibt es kein Ergebnis

Die häufigste Ursache für eine ROI-Rechnung, die niemand glaubt, ist ein fehlendes Vorher. Wenn niemand gemessen hat, wie lange die Bearbeitung eines Vorgangs vor der Einführung gedauert hat, wie viele Fälle im Monat anfallen und wie viele davon Nacharbeit brauchten, gibt es hinterher nur Schätzungen aus dem Gedächtnis, und die fallen systematisch zugunsten des Projekts aus.

Der Aufwand dafür ist überschaubar: eine Erhebung über wenige Wochen an einem klar abgegrenzten Vorgang, mit Zahl der Fälle, Bearbeitungsdauer, Anteil der Fälle mit Rückfrage oder Korrektur und den beteiligten Rollen. Entscheidend ist, dass die Abgrenzung des Vorgangs vor und nach der Einführung identisch bleibt, sonst vergleichst du zwei verschiedene Dinge.

Wenn die Erhebung aus Zeitgründen nicht möglich ist, halte wenigstens schriftlich fest, welche Annahmen ihr trefft und woher sie stammen. Eine Rechnung mit offengelegten Annahmen ist prüfbar, eine Rechnung mit stillschweigenden Annahmen ist es nicht.

Was auf die Nutzenseite gehört und was nicht

Der erste Posten ist eingesparte Arbeitszeit, bewertet mit einem Vollkostensatz, nicht mit dem Bruttolohn. In den Vollkostensatz gehen Lohnnebenkosten, Arbeitsplatzkosten und Gemeinkosten ein, und dieser Wert kommt aus dem Controlling, nicht aus einer Schätzung des Projektteams.

Der zweite und ehrlichste Filter ist die Frage, was mit der eingesparten Zeit tatsächlich passiert. Zwanzig Minuten, verteilt über zehn Personen und einen Monat, sind keine Einsparung, sondern Entlastung. Ein Betrag entsteht erst, wenn Kapazität so gebündelt wird, dass eine Stelle nicht nachbesetzt wird, eine externe Leistung entfällt, Überstunden zurückgehen oder mehr Vorgänge mit demselben Team bearbeitet werden. Schreib in die Rechnung, welcher dieser Wege gemeint ist.

Daneben stehen Posten, die regelmäßig übersehen werden: vermiedene Fehlerkosten, wenn Nacharbeit und Reklamationen messbar zurückgehen, verkürzte Durchlaufzeit, sofern sie sich in früheren Zahlungseingang oder gewonnene Aufträge übersetzt, und wegfallende externe Ausgaben, etwa für Übersetzungen oder Recherchen. Alles, was du auf keinen dieser Wege zurückführen kannst, gehört in einen qualitativen Anhang, nicht in die Rechnung.

Die Kostenposten, die in den ersten Entwürfen fehlen

Die Lizenz steht immer drin. Regelmäßig fehlen dagegen: der verbrauchsabhängige Anteil, wenn nicht pro Nutzer, sondern pro Verarbeitung abgerechnet wird, die Integration in die vorhandenen Systeme, die Vorarbeit an Daten und Berechtigungen, die Einweisung der Anwender und die Zeit der internen Leute, die das Vorhaben begleiten. Interne Arbeitszeit ist keine kostenlose Ressource, nur weil dafür keine Rechnung eingeht.

Der zweite blinde Fleck ist der laufende Betrieb nach dem Start. Prompts und Regeln müssen gepflegt werden, Modelle werden vom Anbieter aktualisiert und verhalten sich danach anders, Auswertungen wollen gefahren werden, und irgendjemand beantwortet die Fragen der Anwender. Setz dafür einen festen Anteil einer Stelle an und nicht null.

Der dritte Posten ist die Nachkontrolle. Wenn jede Ausgabe von einem Menschen geprüft werden muss, ist dieser Prüfaufwand Teil der Kosten und mindert die Zeitersparnis unmittelbar. Genau hier entscheidet sich häufig, ob ein Vorhaben trägt: Ein Ergebnis, das meistens stimmt, aber trotzdem vollständig nachgelesen werden muss, spart im schlechtesten Fall gar nichts.

Der Nutzungsgrad ist der Faktor, der die Rechnung kippt

Eine Rechnung, die von hundert Lizenzen ausgeht, unterstellt hundert Leute, die das Werkzeug wie geplant einsetzen. Tatsächlich teilt sich jede Einführung in drei Gruppen: Leute, die täglich damit arbeiten, Leute, die es einmal ausprobiert haben, und Leute, die nie angefangen haben. Die Kosten fallen für alle drei Gruppen an, der Nutzen nur für die erste. Multiplizier den Nutzen deshalb mit dem gemessenen Anteil aktiver Nutzung und nicht mit der Zahl der vergebenen Lizenzen.

Aktiv heißt dabei nicht „hat sich angemeldet“. Definier vor dem Start, was sinnvolle Nutzung bedeutet, etwa eine bearbeitete Anfrage pro Arbeitstag, und miss dagegen. Diese eine Größe erklärt später mehr Abweichung zwischen Plan und Wirklichkeit als alle anderen Annahmen zusammen.

Was nach dem Pilotprojekt weiter trägt

Die Pilotrechnung ist eine Momentaufnahme. Für den Regelbetrieb brauchst du Kennzahlen, die monatlich ohne Sonderaufwand entstehen. Drei tragen dabei besonders gut: die Kosten pro abgeschlossenem Vorgang, der Anteil der Vorgänge, die ohne menschlichen Eingriff durchlaufen, und die Bearbeitungsdauer vom Eingang bis zum Abschluss.

Diese drei zusammen zeigen auch, wann ein Vorhaben ausläuft. Steigen die Kosten je Vorgang, ohne dass die Menge steigt, hat sich etwas an den Eingangsdaten oder am Modell verändert. Wächst der Anteil der Eingriffe, verschiebt sich die Arbeit zurück zum Menschen und der Nutzen sinkt still. Beides bemerkst du in einer jährlichen Betrachtung zu spät.