KServe Schulung: Model Serving auf Kubernetes
Bring dein Modell mit KServe kontrolliert in den Kubernetes-Betrieb, inklusive Canary-Releases, Autoscaling und Monitoring
Die wichtigsten Themen
KServe-Installation im Cluster
InferenceServices produktionsnah definieren
Canary-Deployments und Rollbacks
Autoscaling mit KPA und HPA
GPU-Serving und Modellformate
Monitoring und Troubleshooting
Überblick In dieser KServe Schulung richtest du KServe auf einem Kubernetes-Cluster ein und veröffentlichst trainierte Modelle als versionierte InferenceServices. Du arbeitest mit YAML-Manifesten,...
In dieser KServe Schulung richtest du KServe auf einem Kubernetes-Cluster ein und veröffentlichst trainierte Modelle als versionierte InferenceServices. Du arbeitest mit YAML-Manifesten, ServingRuntime-Konfigurationen, Storage-URIs für Modellartefakte und Predictor-Einstellungen für Ressourcen, Health-Checks und Traffic. Das Training zeigt Model Serving auf Kubernetes mit Canary-Releases über canaryTrafficPercent, Knative-Autoscaling, optionalem GPU-Scheduling und Prometheus-Metriken. Beispiele mit ONNX Runtime, scikit-learn und TensorFlow Serving machen nachvollziehbar, welche Runtime zu welchem Modellartefakt passt. Ergebnis ist ein reproduzierbarer Ablauf für KI-Modelle auf Kubernetes: vom Artefakt über Deployment und Canary-Freigabe bis zu Monitoring und Troubleshooting im MLOps-Betrieb.
Die Themen KServe-Controller und Custom Resource Definitions · Serverless-Modus mit Knative Serving · RawDeployment-Modus ohne Knative Serving · Ingress- und Gateway-Konfiguration für Inferenz...
KServe-Architektur und Installation
- KServe-Controller und Custom Resource Definitions
- Serverless-Modus mit Knative Serving
- RawDeployment-Modus ohne Knative Serving
- Ingress- und Gateway-Konfiguration für Inferenz
InferenceServices für Model Serving
- InferenceService-Ressourcen und Predictor-Spezifikation
- ServingRuntime und ClusterServingRuntime
- Container-Images für Custom Predictor
- Readiness- und Liveness-Prüfungen
Modellformate und Serving-Runtimes
- ONNX Runtime für Inferenz
- scikit-learn-Modelle mit SKLearn Runtime
- TensorFlow Serving für Modellendpunkte
- Custom Runtime mit eigenen Images
- GPU-beschleunigte Predictor-Pods
Releases und Traffic-Steuerung
- Canary-Releases mit canaryTrafficPercent
- Rollback nach fehlerhaften Deployments
- Versionierte YAML-Manifeste
- Image-Tags und Modellversionen
- CI/CD-Anbindung für Serving-Manifeste
Autoscaling und Ressourcensteuerung
- Knative Pod Autoscaler (KPA)
- Horizontal Pod Autoscaler (HPA)
- Scale-to-zero für Inferenzdienste
- Concurrency Targets pro Revision
- Resource Requests und Limits
- GPU-Scheduling mit Node-Selektoren
Betrieb und Monitoring
- Prometheus-Metriken für Latenz
- Fehlerquoten und Statuscodes
- Alert-Regeln für Endpoint-Ausfälle
- Kubernetes-Events und Pod-Logs
- Request-Pfade über Ingress-Gateways
Troubleshooting im Produktionsbetrieb
- Image-Pull-Fehler und Startprobleme
- Fehlende Modellartefakte im Storage
- Falsche Runtime- und Pfadangaben
- Readiness-Fehler bei Predictor-Pods
- Controller-Status und CRD-Events
Zielgruppe
- MLOps-Engineerinnen und MLOps-Engineers mit Kubernetes-Bezug
- DevOps-Engineerinnen und DevOps-Engineers für KI-Inferenz
- Data-Scientistinnen und Data-Scientists mit Deployment-Aufgaben
- SRE-Teams für KI-Inferenz-Plattformen
Das lernst du
- Reproduzierbare Bereitstellung von Modellen über KServe-InferenceServices
- Kontrollierte Releases mit Canary-Traffic und schnellen Rollbacks
- Skalierungsentscheidungen anhand von Lastprofilen und GPU-Bedarf treffen
- Inference-Endpunkte mit Prometheus-Metriken und Logs überwachen
- Fehler in Images, Runtimes und Modellpfaden systematisch eingrenzen
So arbeiten wir
- Architektur-Inputs durch erfahrene Trainerinnen und Trainer
- Geführte Lab-Übungen auf vorbereiteten Kubernetes-Umgebungen
- YAML-Reviews, Fehlerbilder und Debugging-Sessions
- Release-Szenario mit Canary-Deployment und Monitoring-Auswertung
Empfohlene Vorkenntnisse
- Grundlagen in Kubernetes-Ressourcen wie Pods, Services und Deployments
- Erfahrung mit Container-Images sowie grobes Verständnis von Modellartefakten
Dein Fahrplan
Der erste Tag legt die technische Basis für KServe im Kubernetes-Cluster. Die Teilnehmerinnen und Teilnehmer richten die benötigten Komponenten ein, prüfen Custom Resources und veröffentlichen erste Modelle als InferenceServices.
- KServe-Installation mit CRDs und Controllern
- Knative Serving und Gateway-Anbindung
- Erste InferenceServices mit Beispielmodellen
- Container-Images und Modell-Storage
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - praxisnah und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Leider haben wir aktuell keine Termine geplant. Es wird wahrscheinlich bei uns etwas schief gelaufen sein - bitte kontaktiere uns und wir finden den passenden Termin.
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu KServe Schulung: Model Serving auf Kubernetes
Welche Kubernetes-Kenntnisse brauche ich?
Für die Teilnahme solltest du Pods, Services, Deployments und kubectl sicher einordnen. Wenn die Kubernetes-Basis fehlt, passt der Kubernetes Grundkurs als Vorbereitung.
Arbeiten wir mit eigenen Modellen?
Das Labor nutzt vorbereitete Beispielmodelle, damit Installation, Deployment, Skalierung und Fehleranalyse zuverlässig geübt werden. Eigene Artefakte werden im Architekturteil anhand ihrer Serving-Anforderungen eingeordnet.
Welche Modellformate werden behandelt?
Im Seminar werden typische Formate und Runtime-Muster betrachtet, darunter ONNX, scikit-learn und TensorFlow-Beispiele. Entscheidend ist der Weg vom Artefakt zum InferenceService mit passendem Storage-Pfad, Runtime-Image und Ressourcenprofil.
Brauche ich GPU-Hardware oder eigene Cloud-Lizenzen?
Für die Übungen steht eine vorbereitete Umgebung bereit. Das GPU-Modul behandelt Scheduling, Ressourcendefinitionen und betriebliche Anforderungen, die für reale GPU-Cluster relevant sind.
Ist die Schulung für produktive Plattform-Teams geeignet?
Ja. Das Training behandelt Release-Abläufe, Autoscaling, Monitoring und Troubleshooting entlang eines realistischen Betriebsmodells. Damit eignet es sich besonders für Teams, die KServe als Kubernetes-nativen Serving-Standard einführen.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs .
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Über 20.000 Unternehmen und Behörden vertrauen auf uns
