Open-Source-LLMs lokal betreiben: Grundkurs
Richte lokale Inferenz ein, bewerte Modelle und baue sichere Workflows ohne Cloud-Abhängigkeit.
Die wichtigsten Themen
Lokale LLM-Inferenz aufsetzen
Modelle nach Hardware auswählen
Quantisierung richtig einordnen
Prompting für stabile Outputs
JSON-Ausgaben zuverlässig erzeugen
RAG-Pipeline lokal implementieren
Überblick
Wer hier richtig ist
- IT-Administratoren und DevOps-Verantwortliche, die lokale KI-Services bereitstellen
- Softwareentwicklerinnen und Softwareentwickler, die LLMs in Tools integrieren
- Data- und AI-Engineers, die RAG und Evaluation aufsetzen
- IT-Sicherheitsverantwortliche, die Datenschutz und Risiken bewerten
- Für alle, die Open-Source-LLMs lokal betreiben und produktiv nutzen wollen
Das lernst du
- Du kannst eine lokale Open-Source-LLM-Laufzeit einrichten und Modelle passend zur Hardware auswählen.
- Du steuerst Qualität und Reproduzierbarkeit über Parameter und Prompt-Strukturen.
- Du setzt eine lokale RAG-Pipeline auf und bewertest Ergebnisse mit einfachen Tests und Messgrößen.
- Du kennst zentrale Betriebs- und Sicherheitsmaßnahmen für den Einsatz ohne Cloud.
Die Themen LLM-Grundlagen für Open-Source-Stacks Transformer, Token, Kontextfenster, Sampling verständlich einordnen · Inferenz vs. Training, Quantisierung und ihre Grenzen...
- LLM-Grundlagen für Open-Source-Stacks
- Transformer, Token, Kontextfenster, Sampling verständlich einordnen
- Inferenz vs. Training, Quantisierung und ihre Grenzen
- Modellformate und Laufzeit-Ökosystem: GGUF, safetensors
- Lokale Laufzeit einrichten und vergleichen
- llama.cpp und Ollama: Installation, Modelle, Updates
- CPU vs. GPU: VRAM, RAM, Durchsatz, Latenz
- Basis-Tuning: Kontext, Temperatur, Top-p, Wiederholungsstrafen
- Prompting, das reproduzierbar funktioniert
- System-, Entwickler- und Nutzer-Prompts sauber trennen
- Strukturierte Ausgaben: JSON, Tabellen, feste Schemas
- Fehlerbilder: Halluzinationen, Prompt Injection, Overconfidence
- RAG lokal: Wissen anbinden statt raten
- Chunking, Embeddings, Retrieval, Re-Ranking als Pipeline
- Lokale Vektordatenbanken und Dateiquellen (PDF, Markdown)
- Qualität messen: Trefferquote, Zitierbarkeit, Kontextbudget
- Evaluation und Betrieb
- Qualitätskriterien: Faktentreue, Konsistenz, Stil, Sicherheit
- Testsets, Prompt-Regression, einfache Benchmarks
- Logging, Datenschutz, Modell- und Prompt-Versionierung
- Use-Cases, Grenzen, nächste Schritte
- Assistenz für Schreiben, Analyse, Code-Reviews, Support-Entwürfe
- Wann Cloud-Modelle sinnvoller sind, wann lokal gewinnt
- Roadmap: Tools, Fine-Tuning-Optionen, Governance
So arbeiten wir
- Kurze Impulse mit Live-Demos, danach geführte Hands-on-Übungen in bereitgestellten Umgebungen.
- Praxisaufgaben zu Prompting, RAG und Evaluation mit gemeinsamen Reviews.
- Checklisten und Vorlagen, die du direkt in deinen Alltag übernehmen kannst.
Empfohlene Vorkenntnisse
- Grundverständnis von IT-Systemen (Dateisystem, Prozesse, Netzwerk) und sicherer Umgang mit der Kommandozeile.
- Hilfreich sind Basiskenntnisse in Python oder einer Skriptsprache, aber nicht zwingend.
Dein Fahrplan
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
9:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - praxisnah und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhälst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit jeder Teilnehmer die Aufmerksamkeit bekommt, die er verdient. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Vor Ort
Online
Der passende Termin ist nicht dabei? Kontaktiere uns - wir finden die passende Lösung
Inhouse-Schulungen & Firmenseminare
Inhouse-Schulungen
Buche diese Schulung als maßgeschneiderte Inhouse-Schulung für dein Unternehmen oder deine Behörde. Unsere Trainer kommen zu dir und führen die Schulung in deinen Räumlichkeiten durch.
Vorteile:
- Maßgeschneiderte Inhalte für dein Unternehmen
- Flexible Terminplanung nach euren Bedürfnissen
- Kosteneffizient bei mehreren Teilnehmern
- Schulung in vertrauter Umgebung
- Fokus auf deine spezifischen Anforderungen
Firmen-Seminare
Firmen-Seminare finden an einem unserer Schulungsstandorte statt, sind aber maßgeschneidert für dich und exklusiv für dein Team. Sie können auch online stattfinden.
Ideal für:
- Geschlossene Gruppen aus einem Unternehmen / Behörde
- Individuelle Terminplanung für dein Team
- An unseren Schulungsstandorten oder Online
- Angepasste Inhalte für deine Anforderungen
Fragen und Antworten zu Open-Source-LLMs lokal betreiben: Grundkurs
Brauche ich eine GPU, um sinnvoll mit lokalen LLMs zu arbeiten?
Welche Tools werden verwendet?
Kann ich eigene Dokumente für RAG nutzen?
Geht es auch um Fine-Tuning?
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs .
Ähnliche Kurse
MLOps in Air-Gapped Umgebungen
IaC mit KI: Terraform & GitOps sauber skalieren
Full-Stack KI-Entwicklung: End-to-End Projekt
Linux Administration für KI-Workloads mit GPUs
Open-Source LLM Fine-Tuning für Entwickler
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Über 20.000 Unternehmen und Behörden vertrauen auf uns
