MLflow 3 Schulung: GenAI Observability für LLMs
LLM-Traces, Prompt-Versionen und Evaluation als belastbaren MLflow-Workflow aufbauen
Die wichtigsten Themen
MLflow 3 Tracking einrichten
GenAI-Tracing für LLM-Workflows
Prompt-Versionen verwalten
Evaluation mit Scorern und Metriken
Model Registry für Releases
Monitoring-Signale aus Traces
Überblick In dieser MLflow 3 Schulung baust du einen nachvollziehbaren Workflow für ML- und LLM-Projekte auf, der Experiment-Tracking, Modellverwaltung, Prompt-Versionierung und GenAI-Observability verbindet. Der Schwerpunkt...
In dieser MLflow 3 Schulung baust du einen nachvollziehbaren Workflow für ML- und LLM-Projekte auf, der Experiment-Tracking, Modellverwaltung, Prompt-Versionierung und GenAI-Observability verbindet. Der Schwerpunkt liegt auf der Frage, wie Teams aus einzelnen Notebook-Experimenten reproduzierbare Abläufe entwickeln: mit Tracking-Server, sauberer Experimentstruktur, Artefaktablage, Model Registry, MLflow Models und wiederholbarer Evaluation.
Du protokollierst Parameter, Metriken, Datasets und Artefakte, vergleichst Runs und dokumentierst Modellversionen mit Aliassen und Tags. Für GenAI-Anwendungen nutzt du MLflow Tracing, um LLM-Aufrufe, RAG-Schritte und Tool-Aufrufe als Spans auszuwerten. Prompt-Varianten verwaltest du in der MLflow Prompt Registry, verknüpfst sie mit Evaluationsläufen und leitest daraus nachvollziehbare Freigaben für Testumgebungen ab.
Die Hands-on-Labs arbeiten mit Repository-Layout, gespeicherten Artefakten und Review-Schritten, damit du das Muster in GenAI-Teams übernehmen kannst. Wenn der MLflow-Workflow später in eine Cloud-Architektur eingebettet werden soll, ergänzt MLOps Engineering on AWS diese Schulung um AWS-spezifische Architektur- und Betriebsentscheidungen.
Die Themen MLflow Tracking-Server und Repository-Struktur · Backend-Store und Artefaktablage · Experimentstruktur für Teamarbeit · Autologging und manuelles Logging · Run-Konventionen für Reviews · Run-Metadaten und Metriken...
Plattform-Setup für MLflow 3
- MLflow Tracking-Server und Repository-Struktur
- Backend-Store und Artefaktablage
- Experimentstruktur für Teamarbeit
- Autologging und manuelles Logging
- Run-Konventionen für Reviews
Experiment-Tracking und Reproduzierbarkeit
- Run-Metadaten und Metriken
- Dataset-Logging für Reproduzierbarkeit
- Model Signatures und Input Examples
- Artefakte für Audit und Vergleich
- Vergleich von Experimentläufen
Model Registry und Release-Übergabe
- Modellversionen mit Aliassen
- Freigaben über Tags und Aliasse
- Registry-Struktur für Teamprozesse
- MLflow Models für Serving
- Containerisierte Deployment-Pipelines
GenAI Observability mit Tracing
- Trace-Spans für LLM-Aufrufe
- RAG-Abläufe in Trace-Ansichten
- Tool-Aufrufe und Fehleranalyse
- Kosten- und Latenzmetriken
- Trace-Daten für Betriebsreviews
Prompt Management mit MLflow
- Prompt-Versionen in der Prompt Registry
- Prompt-Vergleich über Experimente
- Variantenfreigabe für Testumgebungen
- Artefaktablage für Prompt-Sets
- Review-Prozess für Prompt-Änderungen
Evaluation und Betriebssignale
- mlflow.evaluate für klassische Modelle
- GenAI-Scorer für Antwortqualität
- Baseline-Vergleich mit Referenzdaten
- Metriken für Release-Entscheidungen
- Betriebssignale aus Traces und Runs
Zielgruppe
- Data-Scientistinnen und Data-Scientists mit Python-Erfahrung
- ML-Engineers mit Verantwortung für reproduzierbare Experimente
- MLOps-Engineers und Plattform-Teams im KI-Betrieb
- LLM-Entwicklerinnen und LLM-Entwickler mit Trace-Bedarf
Das lernst du
- Reproduzierbare MLflow-Experimente mit Run-Metadaten, Datasets und Artefakten aufsetzen
- GenAI-Traces für LLM-Aufrufe, RAG-Abläufe und Tool-Schritte fachlich auswerten
- Prompt-Versionen mit Evaluationsläufen verbinden und Review-Entscheidungen dokumentieren
- Model Registry, Aliasse und Tags als Übergabe in Release-Workflows nutzen
- Evaluationsmetriken und Betriebssignale für nachvollziehbare Deployment-Entscheidungen einsetzen
So arbeiten wir
- Technische Einordnung der MLflow-3-Komponenten
- Live-Demos zu Tracking, Registry, Tracing und Evaluation
- Geführte Hands-on-Labs in vorbereiteter MLflow-Umgebung
- Review von Traces, Prompt-Varianten und Evaluationsläufen
- Gruppenarbeit an Deployment- und Monitoring-Patterns
- Transfer auf eigene Betriebs- und Teamstrukturen
Empfohlene Vorkenntnisse
- Sichere Python-Grundlagen, etwa auf Niveau des Python 3 Grundkurs intensiv
- Erfahrung mit ML- oder LLM-Projekten
- Grundverständnis von Git-Workflows und APIs
- Basiswissen zu containerisierten Anwendungen hilfreich
Dein Fahrplan
Der Einstieg schafft eine lauffähige MLflow-Umgebung und ein gemeinsames Arbeitsmodell für reproduzierbare Experimente. Die Teilnehmerinnen und Teilnehmer richten Tracking, Stores und Repository-Struktur ein und dokumentieren erste Runs mit Metadaten, Metriken und Artefakten.
- Setup von Tracking-Server und Stores
- Repository-Struktur für MLflow-Projekte
- Runs mit Parametern und Metriken
- Dataset-Logging und Artefaktablage
- Autologging und manuelles Logging
- Vergleich von Experimentläufen im UI
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - praxisnah und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Vor Ort
Online
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu MLflow 3 Schulung: GenAI Observability für LLMs
Ist die MLflow 3 Schulung für Einsteiger geeignet?
Ja, wenn bereits Python-Erfahrung und ein Grundverständnis für ML- oder LLM-Workflows vorhanden sind. Das Training startet mit einem geführten MLflow-Setup und führt dann strukturiert in Tracking, Model Registry, GenAI-Tracing, Prompt Registry und Evaluation ein.
Was ist der Unterschied zu einer allgemeinen MLOps-Schulung?
Diese Schulung arbeitet gezielt mit MLflow 3 und behandelt die konkrete Umsetzung von Tracking, Registry, Tracing, Prompt-Versionierung und Evaluation. Eine allgemeine MLOps-Schulung betrachtet meist zusätzlich Architektur-, Team- und Plattformentscheidungen. Für Cloud-spezifische Vertiefung eignet sich anschließend MLOps Engineering on AWS oder MLOps auf Azure.
Welche Labs werden im MLflow Training umgesetzt?
Die Labs bilden typische Projektabläufe ab: ein ML-Modell mit Tracking und Registry, eine LLM-Anwendung mit GenAI-Tracing, ein Prompt-Update mit Evaluation und ein Deployment-Workflow mit Betriebssignalen. Der Ablauf folgt einem Repository-Layout, damit Ergebnisse, Artefakte und Review-Schritte nachvollziehbar bleiben.
Brauche ich eigene Lizenzen oder Cloud-Zugänge?
Nein. Die benötigte Umgebung wird bereitgestellt. Eigene Beispiele können auf Konzept- oder Code-Struktur-Ebene besprochen werden, ohne produktive Daten oder externe Zugänge in die Trainingsumgebung zu übertragen.
Wie tief geht Prompt Management mit MLflow?
Du versionierst Prompt-Varianten, verbindest sie mit Experimentläufen und bewertest Antworten über definierte Scorer. Der Schwerpunkt liegt auf nachvollziehbaren Änderungen, vergleichbaren Ergebnissen und belastbaren Reviews vor einem Release.
Welche Rolle spielt GenAI Observability in der Schulung?
GenAI Observability wird über MLflow Tracing behandelt. Du analysierst LLM-Aufrufe, RAG-Schritte und Tool-Aufrufe als Spans, vergleichst Latenzen und Kostenmetriken und leitest daraus Hinweise für Fehleranalyse, Qualitätssicherung und Betrieb ab.
Welche Schulung passt zur Vorbereitung?
Für solide Python-Grundlagen empfiehlt sich der Python 3 Grundkurs intensiv. Wer LLM-Konzepte erst einordnen möchte, findet im Large Language Model Grundkurs eine passende fachliche Grundlage.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs .
Passende Schulungen nach dem Kurs
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Über 20.000 Unternehmen und Behörden vertrauen auf uns
