LiteLLM Schulung: AI-Gateway sicher betreiben
Steuere Cloud- und lokale Modelle, begrenze Kosten und schütze Zugriffe mit virtuellen API-Keys.
Die wichtigsten Themen
LiteLLM Proxy im Container betreiben
Virtuelle API-Keys und Mandanten steuern
Budgets und Rate-Limits durchsetzen
Fallbacks und Load-Balancing konfigurieren
Kosten und Tokens mit Prometheus messen
Secrets und Log-Inhalte absichern
Überblick Der LiteLLM-Proxy bündelt Zugriffe auf Cloud-Modelle und lokale Inferenzdienste hinter einer OpenAI-kompatiblen API. In der LiteLLM Schulung richtest du das AI-Gateway als Docker-Container ein, definierst...
Der LiteLLM-Proxy bündelt Zugriffe auf Cloud-Modelle und lokale Inferenzdienste hinter einer OpenAI-kompatiblen API. In der LiteLLM Schulung richtest du das AI-Gateway als Docker-Container ein, definierst Modell-Aliasse und prüfst jeden Endpunkt mit API-Aufrufen. Anwendungen verwenden feste Modellnamen. Du wechselst den Provider oder das Deployment zentral in der Gateway-Konfiguration.
Virtuelle API-Schlüssel mit Ablaufdatum regeln den Zugriff für Teams und Benutzerkonten. Budgets sowie Anfrage- und Token-Limits begrenzen den Verbrauch je Schlüssel. Du provozierst Timeouts und fehlgeschlagene Modellaufrufe, um Fallbacks, Load-Balancing und Wiederholungsregeln zu testen. LiteLLM erfasst Kosten- und Token-Daten und stellt Metriken für Prometheus bereit.
Die Übungen nutzen PostgreSQL für persistente Verwaltungsdaten. Der Proxy liest Provider-Schlüssel aus Umgebungsvariablen. Du konfigurierst die Protokollierung so, dass Prompts und Antworten aus Betriebsprotokollen ausgeschlossen bleiben.
Nach drei Tagen steht ein containerisiertes LiteLLM-Gateway mit virtuellen API-Schlüsseln, Budgets und getesteten Ausfallpfaden bereit. cmt stellt die Übungsumgebung und die benötigte Software bereit. Eigene Lizenzen sind nicht nötig. cmt bietet die Schulung online, vor Ort oder als Inhouse-Schulung an.
Die Themen Komponenten des AI-Gateways mit LiteLLM · OpenAI-kompatible API des Proxys · Modell-Aliasse zwischen Anwendung und Provider · LiteLLM-Proxy im Docker-Container · Konfiguration über Umgebungsvariablen...
Gateway-Architektur und API
- Komponenten des AI-Gateways mit LiteLLM
- OpenAI-kompatible API des Proxys
- Modell-Aliasse zwischen Anwendung und Provider
Container und Konfiguration
- LiteLLM-Proxy im Docker-Container
- Konfiguration über Umgebungsvariablen
- PostgreSQL für persistente Verwaltungsdaten
- Secret-Verwaltung außerhalb der Konfigurationsdatei
Cloud-Modelle und lokale Modelle
- Provider-Endpunkte für Cloud-Modelle
- OpenAI-kompatible APIs lokaler Modelle
- Verbindungstests für jeden Modell-Alias
Zugriff über virtuelle API-Schlüssel
- Virtuelle API-Schlüssel mit Ablaufdatum
- Schlüsselzuordnung zu Teams und Benutzerkonten
- Sperren kompromittierter API-Schlüssel
Budgets und Verbrauchsgrenzen
- Budgets pro API-Schlüssel und Team
- Anfrage- und Token-Limits pro Minute
- Testaufrufe bei erreichten Verbrauchsgrenzen
Routing und Ausfallschutz
- Fallbacks zwischen Modell-Deployments
- Load-Balancing über mehrere Endpunkte
- Timeouts für Provider-Aufrufe
- Wiederholungen bei temporären Fehlern
Monitoring und Betriebstests
- Kosten- und Token-Daten je Schlüssel
- LiteLLM-Metriken für Prometheus
- Protokolle ohne Prompts und Antworten
- Betriebstests für Routing-Regeln
- Betriebstests für Verbrauchsgrenzen
Zielgruppe
- KI-Entwickler für produktive LLM-Anwendungen
- Plattform-Teams mit Verantwortung für zentrale KI-Dienste
- DevOps-Fachkräfte für containerisierte AI-Infrastruktur
- MLOps-Teams mit Multi-Provider-Modellzugriff
Das lernst du
- Zentralen Modellzugriff über eine OpenAI-kompatible API bereitstellen
- Virtuelle API-Keys mandantenbezogen begrenzen und widerrufen
- Provider-Ausfälle durch getestete Fallback-Ketten abfangen
- Last über Modell-Endpunkte verteilen und Limits berücksichtigen
- Kosten und Token-Verbrauch mit Prometheus überwachen
- Secrets und Inhaltsdaten aus Betriebslogs fernhalten
So arbeiten wir
Kurze Fachimpulse wechseln mit geführten Labs an einem containerisierten LiteLLM Proxy. Die Teilnehmer konfigurieren Provider, Zugriffspolicies und Routing-Regeln, prüfen Prometheus-Metriken und testen Fehlerfälle. Eine Abschlussübung verbindet Betrieb, Monitoring und Log-Schutz zu einem überprüfbaren Gateway-Setup.
Empfohlene Vorkenntnisse
- Grundkenntnisse in Docker, HTTP-APIs und der Kommandozeile; bei Bedarf vermittelt Docker Fundamentals die Containerbasis
- Geräte, VMs und benötigte Software werden bereitgestellt; eigene Notebooks oder Lizenzen sind nicht nötig
Dein Fahrplan
Der erste Trainingstag führt vom Request-Fluss bis zum erreichbaren Proxy-Endpunkt.
- Aufgaben und Grenzen eines zentralen LLM-Gateways
- LiteLLM Proxy im Container starten
- Konfiguration und Verwaltungsdaten persistieren
- Cloud-Modelle über Provider-Endpunkte anbinden
- Lokale Modelle über kompatible APIs verbinden
- Modell-Aliasse mit Testanfragen prüfen
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - praxisnah und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Leider haben wir aktuell keine Termine geplant. Es wird wahrscheinlich bei uns etwas schief gelaufen sein - bitte kontaktiere uns und wir finden den passenden Termin.
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu LiteLLM Schulung: AI-Gateway sicher betreiben
Was ist ein LiteLLM AI Gateway?
Der LiteLLM Proxy vermittelt als zentrale Schicht zwischen KI-Anwendungen und verschiedenen Modellanbietern. Er stellt eine OpenAI-kompatible API bereit und steuert Zugriffe über virtuelle API-Keys, Budgets und Rate-Limits. Fallbacks, Load-Balancing und Nutzungsdaten werden dadurch an einem gemeinsamen Zugangspunkt verwaltet.
Worin unterscheidet sich LiteLLM Proxy von einem Agenten-Framework?
Der LiteLLM Proxy vereinheitlicht Modellaufrufe und kontrolliert den Zugang zu den angebundenen Endpunkten. Agenten-Frameworks planen Abläufe, führen Werkzeuge aus oder verwalten Zustände. Solche Anwendungen nutzen das Gateway als kontrollierten Modellzugang.
Wie begrenzen virtuelle API-Keys Kosten und Nutzung?
Virtuelle API-Keys ordnen Anfragen einem Nutzer, einem Team oder einem Mandanten zu. LiteLLM prüft hinterlegte Budgets sowie Request- und Token-Limits, bevor der Proxy die Anfrage weiterleitet. Ein Schlüssel lässt sich unabhängig vom Zugang des Modellanbieters widerrufen.
Unterstützt LiteLLM Cloud- und lokale Modelle?
Cloud-Modelle werden über ihre Provider-Endpunkte angebunden, lokale Modelle über unterstützte oder OpenAI-kompatible APIs. Modell-Aliasse geben Anwendungen einen stabilen Namen für beide Varianten. Die konkrete Auswahl für die Übungen wird vor dem Training mit dem eingesetzten Technik-Stack abgestimmt.
Kann die LiteLLM Schulung als Inhouse-Training stattfinden?
Ja, cmt führt die Schulung als Inhouse-Training für KI-, Plattform- und DevOps-Teams durch. Provider, lokale Modellserver und Monitoring-Anbindung lassen sich auf Wunsch an eure Umgebung und anonymisierte Konfigurationsbeispiele anpassen.
Gibt es Konditionen für mehrere Teilnehmer?
cmt erstellt Firmen und öffentlichen Auftraggebern ein Angebot für mehrere Mitarbeiter. Umfang, Format und gewünschte Anpassungen werden vorab abgestimmt; Informationen erhältst du unter 0800 71 20000 oder info@cmt.de.
Brauche ich eigene Cloud-Zugänge oder Lizenzen?
Geräte, VMs und die benötigte Software werden für die Übungen bereitgestellt. Eigene Notebooks oder Softwarelizenzen musst du nicht mitbringen. Gewünschte Übungen mit firmeneigenen Cloud-Konten werden vorab unter Beachtung eurer Zugangsvorgaben abgestimmt.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs.
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
NOCH FRAGEN?
Rufe mich an oder schreibe mir eine E-Mail.
Michaela Berger
Über 20.000 Unternehmen und Behörden vertrauen auf uns
