MLOps & Model Deployment
Langfuse Schulung: LLM-Systeme messbar betreiben
LLM-Antworten über Traces bis zur Ursache verfolgen und Releases mit messbaren Qualitäts-Gates freigeben
- Dauer
- 3 Tage
- Format
- Präsenz oder Live-Online
- Preis
- 1.950 € netto
- Uhrzeiten
- 09:00-16:00 Uhr
- Gruppe
- max. 8 Personen
- Niveau
- Aufbau
- Kursnummer
- KKC_0347
Aktuelle Termine und Online-Buchung: www.cmt.de/j/KKC_0347
Langfuse Schulung: LLM-Systeme messbar betreiben
LLM-Antworten über Traces bis zur Ursache verfolgen und Releases mit messbaren Qualitäts-Gates freigeben
Die wichtigsten Themen
Langfuse lokal und auf Kubernetes betreiben
LLM-, RAG- und Agenten-Traces instrumentieren
Kosten und Latenzen nach Ursache analysieren
LLM-as-a-Judge für Evaluation einsetzen
Prompt-Versionen mit Datensätzen vergleichen
Qualitäts-Gates für Releases definieren
Überblick Eine plausible RAG-Antwort kann auf unpassenden Quellen beruhen. Wiederholte Werkzeugaufrufe erhöhen die Modellkosten. In einer instrumentierten Anwendung verbinden Traces und Spans den auslösenden Prompt mit den...
Eine plausible RAG-Antwort kann auf unpassenden Quellen beruhen. Wiederholte Werkzeugaufrufe erhöhen die Modellkosten. In einer instrumentierten Anwendung verbinden Traces und Spans den auslösenden Prompt mit den Retrieval-Schritten und den nachfolgenden Werkzeugaufrufen. Damit lässt sich untersuchen, welcher Schritt eine fehlerhafte Antwort verursacht und wo zusätzliche Latenz entsteht.
In der Langfuse Schulung instrumentierst du eine LLM-Anwendung mit den Langfuse-SDKs und OpenTelemetry. Die Übungsumgebung samt benötigten Zugängen steht bereit. Zum Arbeitsergebnis gehören getrennte RAG-Spans, eine Auswertung der übermittelten Modellkosten und ein Qualitäts-Gate, das in der CI/CD-Pipeline eingesetzt wird. Testdatensätze und Bewertungsrubriken liefern dafür Scores, die du anhand geprüfter Stichproben kalibrierst. So werden Änderungen vor der Freigabe anhand derselben Testfälle verglichen, statt allein nach dem Eindruck einzelner Antworten beurteilt zu werden.
Für die lokale Installation dient Docker Compose. Auf Kubernetes erfolgt sie per Helm. Der Datenschutzteil behandelt, wie Prompt- und Antwortdaten erfasst, gespeichert und gelöscht werden. Der Trainer begleitet die Übungen in Gruppen mit höchstens acht Personen. Innerhalb von MLOps & Model Deployment konzentriert sich das Training auf die Beobachtung und Bewertung von LLM-Anwendungen, und für dein Team kannst du ein Inhouse-Angebot mit abgestimmten technischen Schwerpunkten anfordern.
Die Themen Docker Compose für lokale Installationen · Helm-Deployment auf Kubernetes-Clustern · Datenflüsse zwischen den Self-Hosting-Komponenten · Langfuse-Projekte und API-Schlüssel verwalten...
Architektur und Self-Hosting
- Docker Compose für lokale Installationen
- Helm-Deployment auf Kubernetes-Clustern
- Datenflüsse zwischen den Self-Hosting-Komponenten
- Langfuse-Projekte und API-Schlüssel verwalten
- Kompatible Server- und SDK-Versionen auswählen
Instrumentierung und Telemetrie
- Langfuse-SDKs für die Instrumentierung von LLM-Aufrufen
- OpenTelemetry für herstellerneutrales verteiltes Tracing
- Separate Spans für einzelne RAG-Schritte
- Werkzeugaufrufe mit den Modellaufrufen verknüpfen
Traces analysieren
- Zusammenhänge zwischen Traces, Spans und Sessions
- Nutzungsdaten und Modellpreise als Kostenbasis
- Modellkosten je Modell und Anwendung
- Latenzen entlang der instrumentierten Aufrufkette
- Fehlerursachen in RAG-Traces untersuchen
Self-Hosting und Datenschutz
- Datenminimierung für Ein- und Ausgaben
- Aufbewahrung und Löschung erfasster Daten
- Lizenzabhängige automatische Aufbewahrungsrichtlinien im Self-Hosting
- Kubernetes-Secrets für die Verwaltung von Zugangsdaten
- Projektrollen und lizenzabhängige Zugriffsrechte
Qualitätsmessung mit Langfuse
- Testdatensätze mit festgelegten erwarteten Antworten
- Regelbasierte Evaluatoren für definierte Bewertungskriterien
- LLM-as-a-Judge mit festgelegten Bewertungsrubriken
- Automatische Scores anhand geprüfter Stichproben kalibrieren
- Online-Evaluation für produktive instrumentierte Abläufe
- Offline-Evaluation vor geplanten Releases
Release-Gates und Qualitätstrends
- Prompt-Versionen mit Freigabe-Labels steuern
- Experimente mit festen Testdatensätzen ausführen
- Qualitätsschwellen für CI/CD-Gates festlegen
- CI/CD-Abbruch bei verletzten Qualitätsschwellen
- Kosten- und Latenzgrenzen für Releases prüfen
- Qualitätstrends zwischen einzelnen Releases vergleichen
Zielgruppe
- KI-Entwickler mit produktiven LLM-Anwendungen
- MLOps-Fachkräfte für generative KI-Systeme
- Platform Engineers mit Kubernetes-Erfahrung
- Data Scientists mit RAG- oder Agenten-Projekten
- Teams mit offenen Fragen zur Antwortqualität vor der Release-Freigabe
Das lernst du
- Langfuse lokal und als Kubernetes-Deployment betreiben
- LLM-, RAG- und Agenten-Aufrufe durchgängig instrumentieren
- Fehlerursachen lokalisieren und Retrieval-Latenzen getrennt von Modelllatenzen auswerten
- Evaluationsdatensätze mit LLM-as-a-Judge auswerten und Scores anhand geprüfter Stichproben kalibrieren
- Prompt-Versionen anhand wiederholbarer Experimente auswählen
- Ein CI/CD-Qualitäts-Gate aufbauen, das Releases bei verletzten Qualitätsschwellen vor der Freigabe stoppt
So arbeiten wir
- Kurze Fachinputs zu Architektur und Evaluationsverfahren
- Live-Demonstrationen von Installation und Instrumentierung
- Übungen in einer bereitgestellten Langfuse-Umgebung
- Instrumentierung einer LLM-, einer RAG- und einer Agenten-Anwendung
- Gemeinsame Trace-Analysen und Prompt-Experimente
- Aufbau und Prüfung eines Qualitäts-Gates
Empfohlene Vorkenntnisse
- Grundkenntnisse in Python und im Aufruf von LLM-APIs
- Grundkenntnisse in Docker und Docker Compose
- Kubernetes-Grundlagen, etwa aus dem Kubernetes Grundkurs
Dein Fahrplan
- Langfuse lokal mit Docker Compose installieren
- Kompatibilität von Server und SDK prüfen
- Projekte und Zugriffsschlüssel konfigurieren
- LLM-Aufrufe über SDKs instrumentieren
- Traces, Spans und Sessions untersuchen
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - mit klarem Alltagsbezug und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine und Preise
| Zeitraum | Ort | Preis (netto) |
|---|---|---|
| 01.03. - 03.03.2027 | München oder Live-Online | 1.950 € |
| 24.05. - 26.05.2027 | München oder Live-Online | 1.950 € |
| 23.08. - 25.08.2027 | München oder Live-Online | 1.950 € |
| 11.10. - 13.10.2027 | München oder Live-Online | 1.950 € |
Alle Preise zuzüglich gesetzlicher Mehrwertsteuer. Freie Plätze und weitere Termine findest du unter www.cmt.de/j/KKC_0347.
Firmenschulung und Inhouse
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine stimmen wir mit euch ab.
Dein Kontakt bei cmt
Yves Hoppe
Telefon 0800 71 20000
yves.hoppe@cmt.de
Termine & Buchung
Vor Ort
Online
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Wie die Planung abläuft, was ein Zuschnitt kostet und welche Themen wir abdecken, steht auf unserer Seite zu Inhouse Schulungen im Bereich MLOps.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu Langfuse Schulung: LLM-Systeme messbar betreiben
Was ist Langfuse und wofür wird es eingesetzt?
Langfuse ist eine Open-Source-Plattform für die Beobachtung und Bewertung generativer KI-Anwendungen. Sie erfasst Modellaufrufe als Traces mit einzelnen Spans und verknüpft sie mit Sessions, Kosten und Latenzen. Teams nutzen diese Daten, um RAG-Abläufe zu untersuchen, Prompts zu vergleichen und Qualitätswerte über Releases hinweg zu verfolgen.
Was ist der Unterschied zwischen LLM-Tracing und Evaluation?
Tracing zeigt den Ablauf einer einzelnen Anfrage, Evaluation bewertet deren Ergebnis anhand festgelegter Kriterien. Langfuse verbindet beide Perspektiven, sodass ein Qualitätswert bis zu den beteiligten Prompts, Modellaufrufen und RAG-Schritten zurückverfolgt wird.
Wie funktioniert LLM-as-a-Judge?
LLM-as-a-Judge nutzt ein Sprachmodell, um Antworten anhand einer Bewertungsrubrik zu prüfen. Geeignete Kriterien sind zum Beispiel Quellenbezug oder Aufgabenerfüllung. Stichproben mit menschlicher Bewertung dienen dazu, die automatischen Scores zu kalibrieren.
Kann Langfuse datenschutzgerecht selbst gehostet werden?
Ja, durch Self-Hosting lassen sich die Langfuse-Daten in der eigenen Infrastruktur speichern; externe Modellaufrufe müssen gesondert geprüft werden. Für deinen Einsatz sind die erfassten Felder, Zugriffsrechte und Löschverfahren festzulegen. Erweiterte projektbezogene Rollenrechte und automatische Aufbewahrungsrichtlinien sind lizenzabhängig.
Wird das Training an unseren Technik-Stack angepasst?
Für ein Inhouse- oder Firmenseminar stimmt cmt die technischen Schwerpunkte auf Anfrage mit euch ab. Dazu zählen das eingesetzte LLM-Framework, die Kubernetes-Umgebung und die Evaluationsanforderungen. Den Betrieb der Modelle selbst vertieft die ergänzende Schulung LLM Self-Hosting und Deployment.
Gibt es ein Zertifikat als Teilnahmenachweis?
Eine offizielle Langfuse-Zertifizierung ist nicht Bestandteil dieser Schulung. Art und Umfang eines cmt-Teilnahmenachweises für deine internen Qualifikationsakten klärt das Team vor der Buchung auf Anfrage.
Brauche ich eine Langfuse-Lizenz oder einen Laptop?
Eigene Lizenzen oder ein eigener Rechner werden für die Übungen nicht benötigt. cmt stellt die erforderliche Software, Geräte und vorbereiteten Übungsumgebungen bereit.
Welche Vorkenntnisse brauche ich für die Langfuse Schulung?
Grundkenntnisse in Python, LLM-APIs sowie Docker und Kubernetes werden vorausgesetzt. Du solltest Python-Code lesen und anpassen können und mit den Grundlagen containerisierter Anwendungen vertraut sein. Die Langfuse-Instrumentierung und die Evaluationsverfahren werden während der drei Schulungstage erarbeitet.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs.
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Über 20.000 Unternehmen und Behörden vertrauen auf uns
