vLLM-Schulung: Open-Source-LLMs bereitstellen
Du stimmst vLLM auf reale GPU-Budgets ab und betreibst OpenAI-kompatible Endpunkte in Containern und Kubernetes.
Die wichtigsten Themen
vllm serve reproduzierbar konfigurieren
GPU-Speicher und KV-Cache abstimmen
OpenAI-kompatible APIs bereitstellen
Multi-GPU-Inferenz parallelisieren
vLLM mit Kubernetes skalieren
Durchsatz und Latenz messen
Überblick vLLM stellt Sprachmodelle über OpenAI-kompatible API-Endpunkte bereit und verwaltet den KV-Cache mit PagedAttention. Du startest Modelle mit vllm serve , testest Chat-Completions-Endpunkte und passt...
vLLM stellt Sprachmodelle über OpenAI-kompatible API-Endpunkte bereit und verwaltet den KV-Cache mit PagedAttention. Du startest Modelle mit vllm serve, testest Chat-Completions-Endpunkte und passt GPU-Speicherauslastung, Batching und Kontextlänge anhand gemessener Last an. Du misst, wie Quantisierung und die Parallelisierung über mehrere GPUs den Durchsatz und die Latenz verändern. Tool-Calling prüfst du mit einem passenden Modell, Chat-Template und Parser. Embeddings testest du mit unterstützten Pooling-Modellen.
Beim Hosting von Open-Source-LLMs erstellst du ein Container-Image und stellst den Dienst als Kubernetes-Deployment bereit. Die Übungen laufen in einer bereitgestellten GPU-Umgebung. Mit Benchmarks findest du Speicherengpässe vor dem Rollout und leitest die Anzahl der Replikate aus den Messwerten ab. Für ein Inhouse-Training stimmen wir die Übungen auf den GPU- und Kubernetes-Stack deines Plattformteams ab.
Die Themen Installation und Laufzeitvoraussetzungen für vLLM · Modellstart mit vllm serve · PagedAttention und blockbasierter KV-Cache · Parameter der OpenAI-kompatiblen Serverkonfiguration...
vLLM-Server und Architektur
- Installation und Laufzeitvoraussetzungen für vLLM
- Modellstart mit
vllm serve - PagedAttention und blockbasierter KV-Cache
- Parameter der OpenAI-kompatiblen Serverkonfiguration
- Unterstützte Modellarchitekturen und Modellformate
GPU-Speicher und Batching
- Speicherbedarf von Modell und KV-Cache
- Continuous Batching für parallele Anfragen
- GPU-Speichergrenze mit
--gpu-memory-utilization - Kontextlänge und maximale Sequenzanzahl
- Quantisierung nach Modell und GPU
APIs und Modellfunktionen
- OpenAI-kompatible Chat-Completions-Endpunkte
- Streaming-Antworten und Abbruchverhalten
- Tool-Calling mit Modell und Parser
- Embeddings mit unterstützten Pooling-Modellen
Parallelisierung über mehrere GPUs
- Tensor Parallelism über mehrere GPUs
- Pipeline Parallelism für große Modelle
- Kommunikationskosten zwischen GPU-Prozessen
- Strategiewahl nach Modell und Hardware
Hosting mit Containern
- Container-Image für den vLLM-Server
- Modell-Cache auf persistenten Volumes
- GPU-Zugriff aus der Container-Laufzeit
vLLM auf Kubernetes
- GPU-Ressourcen für Kubernetes-Pods
- Readiness- und Liveness-Probes
- Horizontale Skalierung über Replikate
- Rollouts mit großen Modellgewichten
Benchmarks und Betriebsbeobachtung
- Lastprofile für parallele API-Anfragen
- Durchsatz in Tokens pro Sekunde
- Zeit bis zum ersten Token
- Zeit zwischen ausgegebenen Tokens
- Prometheus-Metriken und Server-Logs
Zielgruppe
- MLOps-Fachkräfte für produktive LLM-Inferenz
- KI-Plattformteams mit eigener GPU-Infrastruktur
- GPU-Administratoren für containerisierte KI-Dienste
Das lernst du
- vllm serve mit reproduzierbaren Parametern betreiben
- GPU-Speicher, KV-Cache und Kontextlänge dimensionieren
- OpenAI-kompatible Endpunkte für Tools und Embeddings prüfen
- Tensor und Pipeline Parallelism anhand des Modells wählen
- vLLM als Container auf Kubernetes ausrollen
- Sättigung vor dem Rollout durch Lastmessungen erkennen
So arbeiten wir
Kurze Fachinputs wechseln mit Übungen in einer bereitgestellten GPU-Umgebung. API-Tests, Konfigurationsvergleiche, Benchmarks und ein Kubernetes-Deployment führen zu einer überprüfbaren Serving-Konfiguration. Gemeinsame Fehleranalysen nutzen Metriken und Server-Logs.
Empfohlene Vorkenntnisse
- Linux-, Shell- und Container-Praxis
- Grundkenntnisse in Kubernetes und im LLM-Self-Hosting
Dein Fahrplan
- vLLM installieren und Laufzeit prüfen
- Modelle mit vllm serve starten
- OpenAI-kompatible Endpunkte testen
- Tool-Calling und Embeddings prüfen
- Erste Messbaseline erstellen
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - praxisnah und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Leider haben wir aktuell keine Termine geplant. Es wird wahrscheinlich bei uns etwas schief gelaufen sein - bitte kontaktiere uns und wir finden den passenden Termin.
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu vLLM-Schulung: Open-Source-LLMs bereitstellen
Was ist vLLM und wofür wird es eingesetzt?
vLLM ist eine Open-Source-Bibliothek und Serving-Engine für die Inferenz großer Sprachmodelle. Sie verwaltet den KV-Cache mit PagedAttention, bündelt eingehende Anfragen durch Continuous Batching und stellt OpenAI-kompatible HTTP-Endpunkte bereit. Plattformteams nutzen vLLM, um Durchsatz, GPU-Auslastung und Antwortzeiten eines LLM-Dienstes anhand realer Last zu steuern.
Wie unterscheiden sich Tensor Parallelism und Pipeline Parallelism?
Tensor Parallelism verteilt einzelne Modelloperationen über mehrere GPUs und eignet sich für schnelle Verbindungen zwischen den Geräten. Pipeline Parallelism verteilt Modellschichten auf aufeinanderfolgende Stufen. Die geeignete Variante hängt von der Modellgröße, der GPU-Topologie und den gemessenen Kommunikationskosten ab.
Unterstützt vLLM Tool-Calling und Embeddings?
Der OpenAI-kompatible vLLM-Server unterstützt Tool-Calling und Embeddings mit dafür geeigneten Modellen. Tool-Calling benötigt je nach Modell ein passendes Chat-Template und einen Parser. Embeddings werden über unterstützte Pooling- oder Embedding-Modelle bereitgestellt.
Lässt sich die Schulung an unseren GPU-Stack anpassen?
Bei einem Inhouse-Training stimmt cmt die Übungen nach Absprache auf eure GPU-Umgebung, Modelle und Kubernetes-Konfiguration ab. Der Umfang richtet sich nach der verfügbaren Hardware und den technischen Zielen des Teams.
Brauche ich eigene GPU-Hardware oder eine vLLM-Lizenz?
cmt stellt die für die Schulungsübungen erforderliche GPU-Umgebung und Software bereit. vLLM ist Open Source, daher brauchst du keine kostenpflichtige Produktlizenz mitzubringen.
Gibt es die vLLM-Schulung als Inhouse-Training?
cmt bietet die vLLM-Schulung als Inhouse-Training, Firmenseminar und Workshop an. Inhalte, Durchführung und Konditionen werden für das jeweilige Team auf Anfrage abgestimmt.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs.
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
NOCH FRAGEN?
Rufe mich an oder schreibe mir eine E-Mail.
Michaela Berger
Über 20.000 Unternehmen und Behörden vertrauen auf uns
