Open-Source-LLMs lokal betreiben: Grundkurs
Lokale LLM-Inferenz, RAG und Evaluation praxisnah einrichten und ohne Cloud-Abhängigkeit nutzen
Die wichtigsten Themen
Lokale LLM-Inferenz einrichten
Modelle nach Hardware bewerten
Quantisierung sicher einordnen
Prompting für stabile Outputs
RAG mit eigenen Dokumenten
Evaluation und Datenschutz
Überblick In diesem Grundkurs baust du ein belastbares Fundament, um Open-Source-LLMs lokal zu betreiben und in nachvollziehbare Arbeitsabläufe einzubinden. Du richtest eine lokale Inferenz-Umgebung ein, vergleichst Laufzeiten...
In diesem Grundkurs baust du ein belastbares Fundament, um Open-Source-LLMs lokal zu betreiben und in nachvollziehbare Arbeitsabläufe einzubinden. Du richtest eine lokale Inferenz-Umgebung ein, vergleichst Laufzeiten wie llama.cpp und Ollama und lernst, Modellgröße, Quantisierung, Kontextfenster und Hardwarebedarf realistisch zu bewerten. Damit triffst du fundierte Entscheidungen, ob ein Modell auf CPU, GPU oder vorhandener Workstation sinnvoll einsetzbar ist.
Der Schwerpunkt liegt auf dem praktischen Einsatz: Du entwickelst Prompts für reproduzierbare Ergebnisse, erzeugst strukturierte Ausgaben wie JSON und setzt eine lokale RAG-Pipeline auf, damit das Modell mit eigenen Dokumenten arbeitet statt unkontrolliert zu raten. Evaluation, Logging, Datenschutz und Prompt-Versionierung sorgen dafür, dass lokale LLMs nicht nur starten, sondern im Alltag verlässlich nutzbar werden.
Das Seminar grenzt außerdem ein, wann ein lokales LLM trainieren beziehungsweise feinabstimmen sinnvoll ist und wann Prompting, RAG oder Modellwechsel der bessere Weg sind. Für den Einstieg in KI-Grundbegriffe passt vorab die Einführung in die Künstliche Intelligenz. Als Vertiefung bieten sich anschließend LLM Security und Prompt-Injection-Abwehr, LLM-Evaluation in der Praxis oder LLM Self-Hosting und Deployment an.
Die Themen Transformer, Token, Kontextfenster und Sampling verständlich einordnen · Inferenz, Training und Fine-Tuning sauber voneinander abgrenzen · Quantisierung, Modellgröße und Qualitätsverluste realistisch bewerten...
LLM-Grundlagen für Open-Source-Stacks
- Transformer, Token, Kontextfenster und Sampling verständlich einordnen
- Inferenz, Training und Fine-Tuning sauber voneinander abgrenzen
- Quantisierung, Modellgröße und Qualitätsverluste realistisch bewerten
- Modellformate und Laufzeit-Ökosysteme wie GGUF und safetensors einordnen
Lokale Inferenz einrichten und vergleichen
- llama.cpp und Ollama installieren, Modelle verwalten und Updates nachvollziehen
- CPU, GPU, VRAM, RAM, Durchsatz und Latenz für lokale LLMs bewerten
- Passende Modelle nach Hardware, Antwortqualität und Anwendungsfall auswählen
- Basis-Tuning mit Kontextgröße, Temperatur, Top-p und Wiederholungsstrafen durchführen
Prompting für reproduzierbare Ergebnisse
- System-, Entwickler- und Nutzer-Prompts sauber trennen
- Prompts für stabile, überprüfbare und wiederholbare Antworten strukturieren
- JSON, Tabellen und feste Schemas als strukturierte Ausgaben erzeugen
- Halluzinationen, Overconfidence und Prompt Injection als typische Fehlerbilder erkennen
Lokale RAG-Pipeline mit eigenen Dokumenten
- Chunking, Embeddings, Retrieval und Re-Ranking als Pipeline aufbauen
- PDF-, Markdown- und Dateiquellen für lokale Wissensbestände anbinden
- Lokale Vektordatenbanken für dokumentenbasierte Antworten einsetzen
- Trefferquote, Zitierbarkeit und Kontextbudget zur Qualitätsbewertung nutzen
Evaluation, Datenschutz und Betrieb
- Faktentreue, Konsistenz, Stiltreue und Sicherheit als Qualitätskriterien definieren
- Testsets, Prompt-Regression und einfache Benchmarks für Modellvergleiche nutzen
- Logging, Datenschutz und Versionierung für Modelle und Prompts einführen
- Grenzen lokaler Setups gegenüber Cloud-Modellen fachlich begründet abwägen
Wer hier richtig ist
- IT-Administratoren und DevOps-Verantwortliche, die lokale KI-Services, Workstations oder interne LLM-Umgebungen bereitstellen
- Softwareentwicklerinnen und Softwareentwickler, die Open-Source-LLMs in Tools, Skripte oder Fachanwendungen integrieren
- Data- und AI-Engineers, die RAG-Pipelines, Embeddings und Evaluation für eigene Dokumentbestände aufsetzen
- IT-Sicherheitsverantwortliche und technische Projektverantwortliche, die Datenschutz, Risiken und Betriebsgrenzen lokaler LLMs bewerten
Das lernst du
- Lokale Open-Source-LLM-Laufzeiten installieren, Modelle laden und erste Inferenz-Workflows ausführen
- Modellgröße, Quantisierung, Kontextfenster und Hardwarebedarf fachlich begründet bewerten
- Stabile Prompts und strukturierte Ausgaben für reproduzierbare Arbeitsergebnisse entwickeln
- Eine lokale RAG-Pipeline mit Dokumentquellen, Embeddings und Retrieval aufsetzen
- Qualität, Risiken und Grenzen lokaler LLM-Ergebnisse mit einfachen Tests beurteilen
- Betriebsnahe Maßnahmen für Logging, Datenschutz und Prompt-Versionierung anwenden
So arbeiten wir
- Kurze fachliche Impulse mit Live-Demos zu lokalen Laufzeiten, Modellparametern und RAG-Komponenten
- Geführte Hands-on-Übungen in bereitgestellten Umgebungen mit lokalen Open-Source-LLMs
- Praxisaufgaben zu Prompting, JSON-Ausgaben, Dokumenten-Retrieval und Evaluation
- Gemeinsame Reviews typischer Fehlerbilder wie Halluzinationen, schlechte Retrieval-Treffer und Prompt Injection
- Checklisten und Vorlagen für Modellauswahl, Testsets, Logging und sichere Workflows
Empfohlene Vorkenntnisse
- Grundverständnis von IT-Systemen, Dateisystemen, Prozessen und Netzwerken
- Sicherer Umgang mit der Kommandozeile unter Windows, Linux oder macOS
- Hilfreich sind Basiskenntnisse in Python oder einer Skriptsprache
- Keine Vorkenntnisse im Training eigener Modelle erforderlich
Dein Fahrplan
Der erste Seminartag schafft die technische Grundlage für lokale Open-Source-LLMs. Behandelt werden Tokens, Kontextfenster, Sampling, Inferenz, Training, Quantisierung und Modellformate. Anschließend werden lokale Laufzeiten eingerichtet, Modelle geladen und erste Performance- und Qualitätschecks durchgeführt.
- LLM-Basics, Modellformate und Auswahlkriterien
- Inferenz im Unterschied zu Training und Fine-Tuning
- Installation und Vergleich von llama.cpp und Ollama
- CPU-, GPU-, RAM- und VRAM-Entscheidungen
- Parameter-Tuning für stabilere Antworten
Organisatorisches
Lernformate
Unsere Seminare bieten dir maximale Flexibilität: Du kannst zwischen Live-Online und Vor Ort in unseren modernen Schulungszentren im D-A-CH Raum wählen. Beide Formate garantieren dir die gleiche hohe Qualität und interaktive Lernerfahrung.
Schulungsarten
Wir bieten dir verschiedene Schulungsarten: Offene Seminare, Firmenseminare für Teams und Inhouse-Schulungen direkt bei dir vor Ort. So findest du genau das Format, das zu deinen Bedürfnissen passt.
Uhrzeiten
09:00-16:00 Uhr
Aktuelle Software
In unseren offenen Kursen arbeiten wir mit der aktuellsten Software-Version. So lernst du direkt mit den Tools und Features, die du auch in deinem Arbeitsalltag verwendest - praxisnah und zukunftsorientiert. Bei Inhouse- und Firmenschulungen bestimmt ihr die Version.
Deine Vorteile
Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Inklusivleistungen
Deine Teilnahme beinhaltet: Schulungsmaterial, Zertifikat, Verpflegung (bei Präsenzveranstaltungen) und persönliche Betreuung durch unsere Trainer und unser Orga-Team. Alles aus einer Hand - keine versteckten Kosten.
Lernen von Experten
Unsere Trainer sind zertifizierte und erfahrene Profis mit jahrelanger Berufserfahrung. Sie vermitteln dir in den Kursen nicht nur theoretisches Wissen, sondern teilen ihre Erfahrungen aus realen Projekten und helfen dir, das Gelernte direkt in deiner täglichen Arbeit anzuwenden. Das ist kein Werbeversprechen, sondern unser Anspruch. Am besten siehst du das in unseren Bewertungen, z.B. auch bei Google.
Keine Vorkasse
Du zahlst erst nach dem Seminar. Keine Vorkasse, keine Vorauszahlung - so kannst du sicher sein, dass du nur für das bezahlst, was du auch wirklich erhalten hast. Die Rechnung erhältst du erst nach Kursbeginn.
Max. 8 Teilnehmende
Wir setzen auf kleine Gruppen, damit du die Aufmerksamkeit bekommst, die du verdienst. So haben wir mehr Zeit für deine individuellen Fragen und können gezielt auf deine Bedürfnisse eingehen.
Termine & Buchung
Vor Ort
Online
Nicht der passende Termin dabei?
Wir finden eine Lösung: anderer Termin, mehrere Teilnehmer, Inhouse-Schulung oder individuelle Beratung.
Lieber gleich das ganze Team schulen?
Diese Schulung gibt es auch exklusiv für dein Unternehmen, bei euch vor Ort, an unseren Standorten oder Live-Online. Inhalte und Termine nach Maß.
Inhouse-Schulung
Wir kommen zu euch: diese Schulung maßgeschneidert in euren Räumen, für Unternehmen und Behörden.
- Inhalte exakt auf euch zugeschnitten
- Termine nach euren Bedürfnissen
- Günstiger ab mehreren Teilnehmern
- Vertraute Umgebung, kein Reiseaufwand
Firmen-Seminar
Exklusiv für dein Team an einem unserer Standorte oder Live-Online, individuell angepasst.
- Geschlossene Gruppe aus eurem Haus
- Individuelle Terminplanung
- An unseren Standorten oder Live-Online
- Angepasste Inhalte
Fragen und Antworten zu Open-Source-LLMs lokal betreiben: Grundkurs
Was bedeutet LLM lokal betreiben in diesem Seminar?
Du richtest eine lokale Laufzeit für Open-Source-LLMs ein, lädst Modelle, steuerst Inferenzparameter und bewertest Ergebnisse direkt auf eigener oder bereitgestellter Hardware. Der Kurs zeigt, welche Entscheidungen bei Modellformat, Quantisierung, Kontextfenster und Hardwarebedarf wichtig sind.
Brauche ich eine GPU für lokale Open-Source-LLMs?
Nein. Viele lokale Setups laufen auch auf CPU, allerdings mit geringerer Geschwindigkeit. Im Seminar lernst du, wie Modellgröße, Quantisierung, RAM, VRAM und Latenz zusammenhängen und wann eine GPU für produktive Workflows echten Mehrwert liefert.
Wird im Kurs ein lokales LLM trainiert?
Training und Fine-Tuning werden fachlich eingeordnet, sind aber nicht der Schwerpunkt dieses Grundkurses. Im Mittelpunkt stehen lokaler Betrieb, Prompting, RAG und Evaluation, weil diese Ansätze für viele Anwendungsfälle schneller zu belastbaren Ergebnissen führen. Für die Vertiefung passt anschließend das Seminar Open-Source LLM Fine-Tuning für Entwickler.
Welche Tools werden im Seminar verwendet?
Die Praxisübungen arbeiten mit gängigen lokalen Laufzeiten wie llama.cpp und Ollama sowie einer nachvollziehbaren RAG-Referenzpipeline. Die Toolauswahl dient als belastbares Praxisbeispiel, die vermittelten Prinzipien lassen sich auf andere Open-Source-Stacks übertragen.
Kann ich eigene Dokumente für RAG verwenden?
Ja, sofern die Inhalte unkritisch und für Übungen geeignet sind. Alternativ stehen Übungsdokumente bereit. Du lernst, wie Dokumente vorbereitet, in Chunks zerlegt, über Embeddings auffindbar gemacht und mit Retrieval in lokale Antworten eingebunden werden.
Wie werden Qualität und Risiken lokaler LLMs bewertet?
Der Kurs arbeitet mit konkreten Kriterien wie Faktentreue, Konsistenz, Stil, Zitierbarkeit, Sicherheit und Reproduzierbarkeit. Du nutzt einfache Testsets, Prompt-Regression und Logging, um Modell- und Prompt-Änderungen nachvollziehbar zu vergleichen.
Für welche Unternehmensszenarien ist der Grundkurs geeignet?
Typische Szenarien sind interne Assistenzsysteme, Dokumentenanalyse, Support-Entwürfe, Code-Reviews, Textverarbeitung und geschützte Experimente ohne direkte Cloud-Abhängigkeit. Für produktive Deployments bietet sich als nächster Schritt LLM Self-Hosting und Deployment an.
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs .
Passende Schulungen nach dem Kurs
Ähnliche Kurse
MLOps auf Azure: Modelle produktiv ausrollen
Cloud-native KI auf AWS und Azure: Ready für Production
KI-Apps containerisieren mit Podman, Docker & Kubernetes
Linux Administration für KI-Workloads mit GPUs
IaC mit KI: Terraform & GitOps sauber skalieren
Unser Qualitätsversprechen: Wissen, das in der Praxis funktioniert
Aus der Praxis für die Praxis
Schluss mit theoretischem Ballast. Wir trainieren dich für reale IT-Herausforderungen, nicht für Multiple-Choice-Tests. Unsere Trainer vermitteln dir genau das Wissen, das am nächsten Montagmorgen im Job wirklich funktioniert.
Individuell statt "Schema F"
Deine Fragen passen nicht ins Standard-Skript? Bei uns schon. Wir verzichten auf starre Lehrpläne und geben deinen konkreten Projekt-Fragen Raum. Unsere Trainer passen die Inhalte flexibel an das an, was dich und dein Team aktuell weiterbringt.
Maximale Freiheit: Remote oder vor Ort
Lerne so, wie es in deinen Alltag passt - ohne Reise-Stress und Zeitverlust. Egal ob remote, hybrid oder präsent vor Ort: Wir garantieren dir ein nahtloses und effektives Lernerlebnis, egal von wo du dich zuschaltest.
Mit Zufriedenheitsgarantie
Wir sind von unserer Qualität überzeugt - und wollen, dass du es auch bist. Sollte ein Training einmal nicht deinen Erwartungen entsprechen, bieten wir dir an, den Kurs kostenlos zu wiederholen oder ein anderes Training zu besuchen. Ohne Risiko, ohne Diskussion.
Über 20.000 Unternehmen und Behörden vertrauen auf uns
