Wer das Modell baut, das nächsten Monat noch trainiert
Ein Modell einmal zu bauen ist eine Übung, es jeden Monat mit frischen Daten identisch reproduzierbar zu bauen ist der Beruf.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Ein Modell aus dem Notebook lässt sich selten ein zweites Mal bauen
Der Prototyp liegt in einer Datei mit dreißig Zellen, die in einer bestimmten Reihenfolge ausgeführt wurden. Der Datenstand ist nicht festgehalten, ein paar Merkmale wurden zwischendurch von Hand korrigiert, und die Zufallszahl war nicht gesetzt. Drei Monate später kommt ein anderes Modell heraus, und niemand kann sagen, ob das an den neuen Daten liegt oder an einer Kleinigkeit im Ablauf.
Der zweite Bruch entsteht zwischen Training und Betrieb. Im Training werden Merkmale aus dem Warehouse gerechnet, im Betrieb aus der laufenden Anwendung, und beide Wege unterscheiden sich um eine Kleinigkeit, etwa darin, ob ein Storno schon abgezogen ist. Offline sieht das Modell hervorragend aus, im Betrieb greift es daneben, und die Suche nach der Ursache dauert Wochen, weil niemand die beiden Rechenwege nebeneinandergelegt hat.
Der dritte Punkt kostet am längsten unbemerkt Geld: Ein Modell veraltet still. Es wirft weiterhin Vorhersagen aus, nur passen sie immer schlechter, weil sich das Verhalten der Kundschaft, das Sortiment oder die Datenquelle verschoben hat. Ohne festgelegten Auslöser fürs Nachtrainieren merkt das zuerst der Fachbereich, und der merkt es an Beschwerden.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Wer entscheidet was zwischen Analyse, Training und Betrieb
Die Rolle wird fast immer im Verhältnis zu ihren Nachbarn beschrieben, deshalb steht sie hier neben ihnen. Jede Zeile hat eine Bruchstelle, die in Vorhaben mit maschinellem Lernen regelmäßig auftaucht.
| Thema | Wer entscheidet | Wer setzt um | Stolperfalle |
|---|---|---|---|
| Ob eine Fragestellung überhaupt modellierbar ist | Fachbereich gemeinsam mit dem Data Scientist | Data Scientist | Es wird gebaut, bevor jemand die einfache Regel benannt hat, gegen die das Modell antreten soll. Hinterher fehlt der Maßstab für die Frage, ob sich der Aufwand gelohnt hat. |
| Definition und Berechnung der Merkmale | Machine Learning Engineer mit dem Fachbereich | Machine Learning Engineer | Das Training rechnet aus dem Warehouse, der Betrieb aus der Anwendung. Die kleine Abweichung dazwischen erklärt später den Einbruch, den offline niemand gesehen hat. |
| Wahl von Verfahren und Bibliothek | Machine Learning Engineer | Machine Learning Engineer | Ein neuronales Netz für eine Tabelle mit dreißig Spalten kostet Rechenzeit und Erklärbarkeit und bringt gegenüber einem Boosting-Verfahren meist nichts. |
| Freigabe eines Modellstands für den Betrieb | Fachbereich zusammen mit dem Betrieb | MLOps- oder Plattformteam | Freigegeben wird eine Datei ohne Versionsnummer, und drei Wochen später kann niemand mehr sagen, welcher Stand gerade Vorhersagen erzeugt. |
| Wann neu trainiert wird | Fachbereich und Betrieb anhand der Überwachung | Machine Learning Engineer | Nachtrainiert wird nach Kalender statt nach gemessener Abweichung, also entweder ohne Anlass oder erst, wenn sich jemand beschwert hat. |
Ob eine Fragestellung überhaupt modellierbar ist
- Wer entscheidet
- Fachbereich gemeinsam mit dem Data Scientist
- Wer setzt um
- Data Scientist
- Stolperfalle
- Es wird gebaut, bevor jemand die einfache Regel benannt hat, gegen die das Modell antreten soll. Hinterher fehlt der Maßstab für die Frage, ob sich der Aufwand gelohnt hat.
Definition und Berechnung der Merkmale
- Wer entscheidet
- Machine Learning Engineer mit dem Fachbereich
- Wer setzt um
- Machine Learning Engineer
- Stolperfalle
- Das Training rechnet aus dem Warehouse, der Betrieb aus der Anwendung. Die kleine Abweichung dazwischen erklärt später den Einbruch, den offline niemand gesehen hat.
Wahl von Verfahren und Bibliothek
- Wer entscheidet
- Machine Learning Engineer
- Wer setzt um
- Machine Learning Engineer
- Stolperfalle
- Ein neuronales Netz für eine Tabelle mit dreißig Spalten kostet Rechenzeit und Erklärbarkeit und bringt gegenüber einem Boosting-Verfahren meist nichts.
Freigabe eines Modellstands für den Betrieb
- Wer entscheidet
- Fachbereich zusammen mit dem Betrieb
- Wer setzt um
- MLOps- oder Plattformteam
- Stolperfalle
- Freigegeben wird eine Datei ohne Versionsnummer, und drei Wochen später kann niemand mehr sagen, welcher Stand gerade Vorhersagen erzeugt.
Wann neu trainiert wird
- Wer entscheidet
- Fachbereich und Betrieb anhand der Überwachung
- Wer setzt um
- Machine Learning Engineer
- Stolperfalle
- Nachtrainiert wird nach Kalender statt nach gemessener Abweichung, also entweder ohne Anlass oder erst, wenn sich jemand beschwert hat.
Sechs Stationen eines Modells, das im Betrieb bleibt
- 01 Ein festgehaltener Datenstand friert ein, worauf trainiert wurde.
- 02 Die Merkmalsberechnung liegt an einer Stelle, nicht an zweien.
- 03 Der Trainingslauf ist ein Programm und keine Folge von Handgriffen.
- 04 Die Bewertung läuft gegen dieselben Testdaten wie beim letzten Mal.
- 05 Der registrierte Modellstand sagt, welche Version was vorhergesagt hat.
- 06 Ein Auslöser aus der Überwachung startet das nächste Training.
Was du danach beherrschst, das ein Notebook nicht leistet
Die Rolle unterscheidet sich vom Ausprobieren durch eine Handvoll Gewohnheiten, die alle dasselbe Ziel haben: Ein Ergebnis muss wiederholbar sein, sonst ist es keins. Sie sind schnell erklärt und brauchen Übung an einem echten Bestand.
Einen Trainingslauf reproduzierbar machen
Dazu gehören vier Dinge: ein festgehaltener Datenstand, die Version des Codes, die gesetzte Zufallszahl und eine beschriebene Umgebung mit ihren Paketversionen. Fehlt eines davon, kannst du einen Unterschied im Ergebnis nicht erklären, und genau danach wird gefragt, wenn ein Modell schlechter wird.
Merkmale einmal definieren und aus einer Quelle rechnen
Jede Kennzahl, die in das Modell eingeht, braucht genau eine Berechnung, die Training und Betrieb gemeinsam nutzen. Sobald es zwei Rechenwege gibt, entsteht ein Unterschied zwischen Übung und Ernstfall, und der wird erst sichtbar, wenn er teuer geworden ist.
Die Bewertung als festen Lauf bauen, nicht als Zelle im Notebook
Dieselben Testdaten, dieselben Kennzahlen, dieselbe Ausgabe, bei jeder Änderung. Erst dadurch wird aus einem Eindruck ein Vergleich, und erst dann kannst du eine Änderung guten Gewissens zurücknehmen, weil du sie messen kannst.
Modellstände registrieren statt Dateien herumzuschicken
Zu jedem Stand gehören Datum, Trainingsdaten, Kennzahlen und die Person, die ihn freigegeben hat. Nur so lässt sich später beantworten, welche Version eine bestimmte Vorhersage erzeugt hat, und diese Frage kommt spätestens bei der ersten Beschwerde.
Den Auslöser fürs Nachtrainieren an die Daten hängen, nicht an den Kalender
Miss die Verteilung der Eingangsdaten und die Güte gegen die tatsächlich eingetretenen Fälle. Wenn eines von beiden wegdriftet, ist das der Anlass. Ein fester Monatsrhythmus trainiert entweder unnötig oft oder viel zu spät.
Das Verfahren nach der Datenart wählen
Für tabellarische Daten sind Gradient-Boosting-Verfahren der übliche erste Griff, und sie laufen auf einer normalen CPU. Neuronale Netze lohnen sich dort, wo Struktur in Bild, Text oder Ton steckt, und erst dafür brauchst du überhaupt eine Grafikkarte.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Was den Alltag füllt, und womit niemand rechnet
Der Anteil, den Außenstehende sich vorstellen, also die Wahl und Feinabstimmung des Verfahrens, ist der kleinste Block. Den größten frisst alles rund um Daten: Merkmale bauen, Ausreißer und fehlende Werte behandeln, prüfen, ob die Historie überhaupt so weit zurückreicht wie behauptet, und die Rückfrage an den Fachbereich, was ein bestimmtes Feld eigentlich bedeutet, wenn es leer ist.
Danach kommt der Teil, der die Rolle vom Data Scientist trennt: aus dem Versuch ein Programm machen. Trainingsdaten laden, Merkmale rechnen, trainieren, bewerten, Ergebnis ablegen, alles als Ablauf, den auch jemand anderes starten kann. Wer aus der Forschung kommt, unterschätzt diesen Teil regelmäßig, weil er nach Fleißarbeit aussieht und in Wahrheit über die Lebensdauer des Modells entscheidet.
Die dritte Überraschung betrifft die Gespräche. Ein erheblicher Teil der Arbeit besteht darin, Erwartungen zu ordnen: Was das Modell schätzt, wie sicher es ist, was ein Fehler in die eine und was ein Fehler in die andere Richtung kostet. Wer das nicht ausspricht, bekommt ein Modell freigegeben, das im Alltag niemand benutzt, weil ihm niemand traut.
Der Weg hinein hängt an dem, was dir fehlt
Aus der Softwareentwicklung mit Python ist der Weg der kürzeste. Versionsverwaltung, Tests, Paketierung und die Gewohnheit, dass Code auch auf einem fremden Rechner läuft, sind vorhanden. Zu lernen sind die Grundlagen des maschinellen Lernens, also Trainings- und Testtrennung, Überanpassung, Bewertungskennzahlen und der Umgang mit Ergebnissen, die nur wahrscheinlich richtig sind.
Aus der Datenanalyse ist es genau umgekehrt: Statistik und Verfahren sitzen, es fehlt die Handwerkskiste, die aus einem Versuch ein wiederholbares Programm macht. Das ist die häufigere Ausgangslage und der Grund, warum viele Vorhaben am Übergang scheitern. Der Umstieg lohnt sich, weil er den eigenen Modellen erst zu einer Wirkung verhilft, die über die Vorführung hinausgeht.
Beim Nachweis zählt in dieser Rolle ein Projekt, das jemand anderes starten kann. Ein Verzeichnis mit Trainingsprogramm, Bewertungslauf, festgehaltenem Datenstand und einer kurzen Notiz, welche Änderung welche Kennzahl bewegt hat, sagt mehr über deine Arbeitsweise als jedes Zertifikat. Genau danach fragen Gespräche für diese Stelle, und zwar mit Rückfragen zu Details.
Was zwei Leute mit gleicher Berufsdauer unterscheidet
Der erste Unterschied ist die Frage nach der Grundlinie. Wer zuerst wissen will, welche einfache Regel heute schon im Haus gilt und wie gut die ist, weiß am Ende, ob das Modell etwas beigetragen hat. Wer ohne Vergleich arbeitet, liefert eine Kennzahl, die für sich genommen nichts bedeutet, und diskutiert danach über Geschmack.
Der zweite Unterschied ist der Umgang mit dem Unterschied zwischen Übung und Ernstfall. Erfahrene Leute legen die Berechnung eines Merkmals im Training und im Betrieb nebeneinander, bevor irgendetwas ausgeliefert wird, und schreiben eine Prüfung, die genau diese Abweichung meldet. Das ist unspektakulär und verhindert die teuerste Fehlersuche in solchen Vorhaben.
Der dritte Unterschied betrifft das Aufhören. Wer erkennt, dass eine Aufgabe mit einer Regel besser gelöst ist als mit einem Modell, und das auch sagt, wird beim nächsten Vorhaben früher gefragt. Modelle für Probleme zu bauen, die keine sind, ist der verlässlichste Weg, das Vertrauen in maschinelles Lernen im eigenen Haus zu beschädigen.
Wohin die Rolle führt
Der naheliegende nächste Schritt ist der Betrieb: Auslieferung, Überwachung, Rückrollen, Kosten. Wer diesen Weg geht, landet bei einer Rolle rund um MLOps und verantwortet weniger die Güte eines Modells als seine Verfügbarkeit. Der zweite Weg führt zu Diensten auf Basis vorhandener großer Modelle, wo Abruf, Bewertung und Absicherung im Vordergrund stehen und selbst trainiert kaum noch wird.
Fachlich verzweigt es sich nach Datenart. Bild und Ton, Sprache, Zeitreihen und Empfehlungssysteme sind jeweils eigene Welten mit eigenen Fallstricken, und Erfahrung in einer davon überträgt sich nur zum Teil. Wer sich in einer Branche festsetzt, etwa in der Instandhaltung oder in der Betrugserkennung, wird darüber schwerer ersetzbar als über das Verfahren.
In die Führung geht es über die Verantwortung für eine Plattform, auf der mehrere Teams trainieren und ausliefern. Dann geht es um gemeinsame Bausteine, Zugriffsrechte, Kosten und um die Entscheidung, welche Vorhaben gar nicht erst starten. Das ist der Punkt, an dem die Arbeit endgültig aufhört, Modellbau zu sein.
Warum auf dieser Seite keine Gehaltszahl steht
Die amtliche Verdiensterhebung rechnet entlang der Klassifikation der Berufe, deren Systematik aus dem Jahr 2010 stammt und zuletzt 2020 überarbeitet wurde. Eine Berufsgattung für maschinelles Lernen gibt es darin nicht. Die Tätigkeit verteilt sich je nach Zuschnitt der Stelle auf Softwareentwicklung, Informatik ohne Spezialisierung und IT-Systemanalyse, und welche dieser Zellen wir zeigen würden, wäre unsere Auswahl und keine Erhebung.
Dazu kommt eine Besonderheit dieser Rolle: Derselbe Titel steht in Stellenanzeigen für sehr verschiedene Zuschnitte, von der Betreuung eines eingekauften Modells bis zur Verantwortung für die gesamte Trainingsstrecke eines Produkts. Ein Mittelwert über solche Fälle sagt weder dir noch deinem Gegenüber in einer Verhandlung etwas.
Belegbar ist die Branchenebene. Das Statistische Bundesamt weist für Information und Kommunikation den durchschnittlichen Bruttojahresverdienst Vollzeitbeschäftigter aus, einschließlich Sonderzahlungen. Das ordnet die Branche ein und nicht die Rolle, denn der Wert umfasst alle Beschäftigten und ist ein Durchschnitt, den einzelne Spitzenverdienste nach oben ziehen. Wer für sich selbst rechnen will, geht besser von seiner heutigen Stelle aus und fragt, was der Wechsel an Verantwortung mitbringt.
Dazu passende Kurse
Wie ein Trainingslauf aussieht, den man wiederholen kann, zeigen Kurse, in denen du dein erstes Modell trainierst und ehrlich bewertest .
Wenn du noch schwankst, ob dich eher die Auswertung oder das Training reizt, hilft die Übersicht über Datenberufe und ihre Werkzeuge beim Sortieren.
Warum es zu dieser Rolle keine amtliche Zahl gibt
Für Rollen rund um maschinelles Lernen führt die amtliche Verdiensterhebung keine eigene Berufsgattung, deshalb steht hier bewusst keine Zahl. Die Tätigkeit verteilt sich je nach Zuschnitt der Stelle über Softwareentwicklung, Informatik und IT-Systemanalyse, und welche dieser Zellen wir abbilden würden, wäre unsere Entscheidung. Erschwerend kommt hinzu, dass derselbe Titel für sehr verschiedene Aufgabenzuschnitte vergeben wird. Belegbar ist nur die Branchenebene, also der durchschnittliche Bruttojahresverdienst Vollzeitbeschäftigter in Information und Kommunikation einschließlich Sonderzahlungen, und der zeigt eine Größenordnung für die Branche und keinen Wert für diese Rolle.
Wie sicher bist du beim Thema wirklich?
Lesen fühlt sich schnell nach Können an. Ein kurzer Test zeigt dir, was davon schon sitzt und wo sich ein Kurs lohnt. Kostenlos, ohne Anmeldung, mit einer Erklärung zu jeder Antwort.
Wo du genau das übst
Ein sehr gutes, praxisorientiertes und nachhaltiges Seminar. So sollte es immer sein. Vielen Dank.
Ein sehr guter und verständlicher Überblick über die Grundlagen im Umgang mit BricsCAD.
Alle meine Erwartungen wurden erfüllt und ich habe mich sehr gut aufgenommen gefühlt, jede Frage wurden Probleme direkt beseitigt.
Häufige Fragen
Was ist der Unterschied zum Data Scientist?
Und der Unterschied zum KI-Engineer?
Brauche ich eine Grafikkarte zum Lernen?
Reicht Python, oder muss ich mehrere Rahmenwerke beherrschen?
Passt thematisch dazu
Welche Kurse dabei aufeinander aufbauen, legt unser Lernpfad rund um Python und Data Science als Reihenfolge fest.
Deine Ansprechpartner
Du bist dir nicht sicher, welcher Kurs oder welches Level zu dir passt? Wir beraten dich persönlich und kostenlos.
Yves Hoppe
Weiterbildung & Beratung
Hilft dir, aus dem IT-Berufe-Programm den passenden Kurs für deinen Stand zu finden.
Norbert Jansen
Beratung & Inhouse
Plant mit dir Inhouse-Trainings, die auf eure Abläufe und euren Datenbestand zugeschnitten sind.
Vom einmaligen Versuch zum wiederholbaren Lauf
Ein Modell zu trainieren lernst du an einem Nachmittag, es ehrlich zu bewerten und ein zweites Mal identisch zu bauen dauert länger, und genau daran arbeitest du bei cmt an eigenen Daten.
Passt dazu
- Data Scientist, Data Analyst, Data Engineer: wer von den dreien macht was
- MLOps Engineer: ein Modell im Notebook ist noch kein Dienst
- Python-Entwickler werden: der Einstieg ist leicht, der Betrieb nicht
- KI-Engineer werden: der Unterschied zwischen einem Modell und einem Dienst, der läuft