Open-Source- & Self-Hosted-LLMs.
Deine Modelle, deine Daten.
Llama, Mistral, DeepSeek, Qwen und Gemma laufen auf eigener Hardware oder in deiner privaten Cloud. Keine Daten, die das Haus verlassen, keine Abhängigkeit von einem Anbieter. Die Frage ist: Wann lohnt sich das, und wie setzt du es sauber um?
Wir zeigen dir, welches offene Modell zu welcher Aufgabe passt, wann ein eigenes Modell der Cloud-API überlegen ist und wie du es mit Ollama oder vLLM in Betrieb nimmst. Praxisnah und sofort umsetzbar.
Über 20.000 Unternehmen und Behörden vertrauen auf uns
Finde deinen Einstieg
Du weißt noch nicht, welcher Kurs zu dir passt? Wähl, was gerade auf dich zutrifft, und du landest direkt beim richtigen Angebot.
Lokal betreiben
Ein offenes Modell zum ersten Mal selbst zum Laufen bringen.
Grundkurs ansehen Produktiv betreibenSelf-Hosting & Deployment
Modelle stabil und skalierbar in den Betrieb bringen.
Deployment-Kurs AnpassenFine-Tuning
Ein offenes Modell auf eure Daten und Fachsprache trimmen.
Fine-Tuning lernen Fürs ganze TeamInhouse-Training
Auf eure Hardware, Daten und Anwendungsfälle zugeschnitten.
Inhouse anfragen
Was Open-Source- & Self-Hosted-LLMs
wirklich bedeuten.
Bei den großen Cloud-Diensten schickst du deine Eingaben an einen externen Anbieter. Open-Source- und Self-Hosted-LLMs drehen das um: Die Modellgewichte sind offen, du betreibst das Modell auf eigener Hardware oder in deiner privaten Cloud. Deine Daten bleiben dort, wo sie hingehören.
Die offenen Familien Llama, Mistral, DeepSeek, Qwen und Gemma haben 2025 den Abstand zu den geschlossenen Spitzenmodellen deutlich verkleinert. In vielen Büro- und Business-Aufgaben sind sie heute mehr als ausreichend, und du behältst die volle Kontrolle über Daten, Kosten und Verfügbarkeit. Der Preis dafür: Du brauchst etwas Wissen für Auswahl, Betrieb und Pflege. Genau da setzen wir an.
Llama, Mistral, DeepSeek, Qwen und Gemma decken vom kompakten bis zum großen Modell alles ab.
Eingaben verlassen das eigene Netz nicht und werden nicht zum Training eines fremden Anbieters genutzt.
Du bist nicht an Preise, Limits oder Modellwechsel eines einzelnen Anbieters gebunden.
Vom lokalen Grundkurs über Fine-Tuning bis zum produktiven Deployment.
Offene Modellfamilien,
die du kennen solltest.
Du brauchst nicht alle. Aber du solltest wissen, wofür jede Familie steht. Konkrete Versions- und Größenwahl hängt von deiner Aufgabe und Hardware ab, das klären wir im Kurs.
Llama
Meta
Eine der meistgenutzten offenen Modellfamilien mit riesigem Werkzeug- und Community-Ökosystem. Gute erste Wahl, wenn du auf bewährte Werkzeuge, viele Anleitungen und breite Hardware-Unterstützung setzen willst.
Mistral
Frankreich / EU
Schlanke, effiziente Modelle aus Europa, beliebt für mehrsprachige Aufgaben und einen guten Kompromiss aus Qualität und Ressourcenbedarf.
DeepSeek
DeepSeek (CN)
Bekannt für starke Fähigkeiten beim logischen Schließen und beim Programmieren, und das zu vergleichsweise günstigem Betrieb. Spannend, wenn analytische Tiefe gefragt ist.
Qwen
Alibaba (CN)
Eine breite Familie von kleinen bis großen Modellen mit offenen Lizenzen. Gut, wenn du je nach Hardware die passende Größe wählen willst.
Gemma
Kompakte offene Modelle, die auf überschaubarer Hardware laufen. Ideal für den Einstieg ins lokale Hosting ohne großes Rechenzentrum.
MiniMax
MiniMax (CN)
Starkes chinesisches Open-Weight-Modell, das vor allem bei sehr langen Kontexten und Agenten-Aufgaben punktet. Spannend, wenn du große Dokumentmengen oder komplexe Werkzeugketten verarbeiten willst.
GLM
Zhipu / Z.ai (CN)
Open-Weight-Modellfamilie von Zhipu (Z.ai), die Reasoning, Programmieren und Agenten-Fähigkeiten vereint. Eine starke Alternative für anspruchsvolle Entwicklungs- und Werkzeug-Aufgaben.
Wo eigene Modelle
im Business glänzen.
Self-Hosting spielt seine Stärke überall dort aus, wo Daten besonders schützenswert sind oder das Modell euer Spezialwissen kennen soll. Vier typische Fälle.
Interner Wissens-Assistent
Ein Chatbot auf euren Handbüchern, Verträgen und Wikis, der eure Dokumente nie an einen externen Dienst schickt. Das Modell läuft im eigenen Netz, die Antworten zitieren eure Quellen.
Dokumente analysieren
Verträge, Rechnungen und Berichte auswerten, ohne dass ein einziges Zeichen das Haus verlässt.
Fachsprache lernen
Per Fine-Tuning lernt das Modell eure Begriffe, eure Tonalität und eure Abläufe.
Vorhersehbare Kosten
Statt pro Token zu zahlen, trägst du feste Hardware- und Betriebskosten. Bei hohem Volumen wird das planbar und oft günstiger.
Wie du daraus eine produktive Anwendung baust, etwa einen internen Wissens-Assistenten mit RAG, vertiefen die RAG- und Vektordatenbank-Trainings und der Kurs zur LLM-Dokumentenanalyse.
Wann Open-Source & Self-Hosting,
wann lieber etwas anderes?
Self-Hosting ist kein Selbstzweck. Für manche Aufgaben ist eine Cloud-API der schnellere und günstigere Weg, für andere ist das eigene Modell klar überlegen. Hier die ehrliche Faustregel.
In der Praxis ist es selten ein Entweder-oder: Viele Teams nutzen eine Cloud-API für den schnellen Start und ein eigenes Modell für alles, was sensibel oder hochvolumig ist. Wenn du wissen willst, welche Cloud-Modelle wofür stark sind, hilft die Werkzeug-Übersicht unter Produktiver arbeiten mit KI, für den Schritt zur eigenen Anwendung die KI-Entwicklung und für den rechtlichen Rahmen KI & Compliance. Die konkrete Abwägung treffen wir mit dir an deinem Anwendungsfall.
Vom Modell zur
verlässlichen Lösung.
Ein Modell herunterzuladen ist der einfache Teil. Der Mehrwert entsteht durch die richtigen Entscheidungen drumherum. Diese sechs Schritte machen aus einem offenen Modell ein verlässliches Werkzeug.
Nimm das kleinste Modell, das die Aufgabe gut löst, nicht das größte. Das spart Hardware, Strom und Wartezeit.
Für erste Tests und Entwicklung bringt Ollama ein Modell in Minuten lokal zum Laufen, ganz ohne komplexe Einrichtung.
Sobald viele Anfragen gleichzeitig kommen, sorgt vLLM für hohen Durchsatz und stabile Antwortzeiten im Serverbetrieb.
Verbinde das Modell mit euren Dokumenten, statt es alles auswendig wissen zu lassen. Antworten werden belegbar und aktuell.
Fine-Tuning lohnt sich, wenn Fachsprache oder Ton entscheidend sind. Oft reicht aber schon gutes Prompting plus RAG.
Lege Qualitätskriterien fest, evaluiere die Ausgaben und sichere den Betrieb gegen Missbrauch ab, bevor er live geht.
Das beste Modell ist nicht das größte.
Es ist das, das deine Daten im Haus lässt.
Aus über 490 KI-Schulungen bei cmt
Ueberzeugt? Finde deinen passenden Kurs.
Vom lokalen Grundkurs über Fine-Tuning bis zum produktiven Deployment, offen, online oder inhouse bei dir.
Wenn KI nicht nur Tool, sondern Prozess werden soll.
Eine Schulung macht dein Team produktiv. Doch oft entsteht im Training die nächste Frage: Wie wird daraus ein verlässlicher Workflow für die ganze Abteilung? Genau da gehen wir über die Schulung hinaus.
KI-Beratung
Strategie und Roadmap, gedacht aus der Umsetzung. Wir wählen mit dir die richtigen Tools für deine Prozesse, setzen Leitlinien und machen KI vom Einzeltool zum Teamstandard, ohne 80-Seiten-Strategiepapier.
- Tool- & Use-Case-Auswahl
- Datenschutz & Leitlinien
- Roadmap mit Prioritäten
KI-Projektumsetzung
Kein eigenes Entwicklerteam? Wir bauen produktive KI-Lösungen, die dein Team danach selbst übernimmt: vom automatisierten Angebotsentwurf bis zum maßgeschneiderten Assistenten für eure Abläufe. Der Code gehört dir.
- Maßgeschneiderte Assistenten
- Automatisierte Workflows
- Code & Wissen bleiben bei dir
Diese Kurse starten
als Nächstes
Freie Termine aus unseren Trainings zu offenen Modellen, Self-Hosting und LLM-Engineering. Alle Kurse auch als Inhouse-Training buchbar.
Large Language Models Advanced: Eigene LLMs und Tuning
Python Deep-Dive Kurs: Deep Learning, Neuronale Netze & Visualisierung
Python Einstieg mit Machine Learning: Grundkurs
LLM Security: Injections erkennen & abwehren
Large Language Model Grundkurs: Einsatz und Überblick
Python mit Tensorflow: Grundkurs
KI-Sicherheit in der Cloud Grundkurs
GLM-5.1: Open Source LLM produktiv nutzen
Lokal betreiben & Self-Hosting
Modelle im Vergleich
Anpassen & Engineering
Daten & Pipelines
Fragen zu Open-Source-
und Self-Hosted-LLMs
Was sind Open-Source- und Self-Hosted-LLMs?
Wann lohnt sich ein eigenes Modell statt einer Cloud-API?
Welche Hardware brauche ich, um ein LLM lokal zu betreiben?
Sind selbst gehostete Modelle DSGVO-konform?
Was bedeutet Fine-Tuning auf eigene Daten?
Was kostet ein Self-Hosting-Setup im Vergleich zur Cloud-API?
Was unterscheidet Ollama und vLLM?
Weitere häufig gestellte Fragen und Antworten findest du in den FAQs .
Weitere KI-Themen
Eigene Modelle sind ein Baustein. Diese Seiten vertiefen Entwicklung, Daten und den rechtlichen Rahmen.
KI-Entwicklung & Engineering
Von eigenen LLM-Anwendungen über RAG bis zur Integration. Der Bereich für Entwickler und Engineering-Teams.
Mehr erfahrenDaten auswerten mit KI
Eigene Daten nutzbar machen: Dokumentenanalyse, RAG und Auswertung, auch mit selbst gehosteten Modellen.
Mehr erfahrenKI sicher & rechtskonform
AI Act, Datenschutz und Governance. Was beim Betrieb eigener Modelle geregelt sein muss.
Mehr erfahrenAndere Hersteller: Oracle, DeepSeek, Qwen
Kurse rund um alternative Modellanbieter abseits der großen US-Cloud-Plattformen.
Mehr erfahrenKI Engineering & LLMs
Modelle anpassen, trainieren und bewerten. Der Kursbereich für alles rund um eigene LLMs.
Mehr erfahrenMLOps & Model Deployment
Modelle zuverlässig in Betrieb nehmen: Hosting, Skalierung und Monitoring im eigenen Stack.
Mehr erfahrenAlle 490+ KI-Kurse
Das komplette KI-Schulungsportfolio. Vom Einstieg bis zur Experten-Zertifizierung.
Mehr erfahrenZurück zur KI-Weiterbildung
Alle Themen, Tools und Lernpfade rund um KI auf einen Blick.
Mehr erfahrenDeine Ansprechpartner
Wir beraten dich persönlich zu Modellwahl, Self-Hosting und Umsetzung. Kostenlos und unverbindlich.
Yves Hoppe
KI-Kompetenzcenter
Begleitet dich von der Modellauswahl über Self-Hosting bis zur produktiven Lösung im Unternehmen.
Norbert Jansen
Beratung & Weiterbildung
Findet mit dir das passende Format, ob offene Schulung, Inhouse oder Beratung.
Bereit für deine
eigenen Modelle?
Wir finden gemeinsam heraus, ob Self-Hosting für euch passt und welche Schulung den größten Hebel bringt. Unverbindlich, am Telefon oder persönlich.