Was ist On-Prem-LLM?
Definition: On-Prem-LLM bezeichnet ein Sprachmodell, das auf Hardware betrieben wird, die das Unternehmen selbst kontrolliert – meist im eigenen Rechenzentrum, optional ohne Internetverbindung.
Ein On-Prem-LLM (englisch on-premises Large Language Model) ist ein Sprachmodell, das auf Hardware betrieben wird, die das Unternehmen selbst besitzt und kontrolliert – meist im eigenen Rechenzentrum oder in einem dedizierten Serverraum. Daten verlassen die Hardware-Umgebung nie; bei air-gapped Setups gibt es keine Internetverbindung.
Wann sich On-Prem lohnt
- Hochsensible Daten (Mandantengeheimnis, Verteidigung, Pharma-FuE), bei denen selbst eine EU-Cloud zu viel Drittparteien-Beteiligung darstellt.
- Bestehende Operations-Reife in der eigenen IT für GPU-Hardware, Modell-Updates und Lastspitzen.
- Größenordnung ab 50–150 aktive Nutzende, ab der Hardware-Investition gegen mehrjährige Cloud-Kosten konkurriert.
Hardware-Anforderungen 2026
Die meisten Mittelstands-Use-Cases lassen sich mit 7B–17B-Open-Source-Modellen (Llama 4 Scout, Mistral, Qwen 3) auf einer einzelnen GPU mit 24–80 GB VRAM realisieren. Größere Modelle (Llama 4 Maverick 400B, DeepSeek-V3) benötigen mehrere GPUs der H100-Klasse. Die Investition reicht je nach Modellgröße und Skalierung von ca. 30.000 € bis 80.000 € einmalig für 50–150 aktive Nutzende; größere Setups liegen darüber.
Vorteile gegenüber EU-Cloud
- Volle Hoheit über Daten, Konfigurationen und Modelle.
- Keine laufende Cloud-Rechnung, dafür Hardware-Investition und Strom/Kühlung.
- Air-Gap möglich für regulatorisch besonders sensible Setups.
Nachteile und Risiken
- Operations-Aufwand: GPU-Treiber, Modell-Updates, Backup, Capacity-Planung erfordern reife IT-Funktionen oder einen Managed-Service-Partner.
- Eingeschränkte Skalierungs-Geschwindigkeit: Lastspitzen lassen sich nicht binnen Stunden abfangen.
- Modell-Auswahl beschränkt auf Open-Source und einige kommerzielle Modelle, die On-Prem-Lizenzen anbieten.
Abgrenzung zu hybridem Setup
In hybriden Architekturen läuft die Inferenz on-prem (sensible Daten verlassen das Unternehmen nie), während Vektorindex und Anwendungs-Backbone in der EU-Cloud betrieben werden. Diese Variante kombiniert die Datenkontrolle on-prem mit der Skalierungs-Bequemlichkeit der Cloud.
Verwandte Begriffe
- Private KI – die übergeordnete Konzeption.
- RAG – Architektur, die ein On-Prem-LLM für wissensbasierte Antworten erweitert.
Vertiefung
Hosting-Modell-Vergleich im Detail: „Private KI für den Mittelstand: Der Leitfaden 2026".
Autor
Nico Meyer
Geschäftsführer Code15 GmbH
Gründer von Code15. Baut seit 10+ Jahren Software für den Mittelstand – heute mit Fokus auf Private KI, RAG-Systeme und sichere KI-Einführung in regulierten Branchen.
Mehr von NicoPrivate KI für Unternehmen: Sprechen Sie mit Nico
Direkt mit dem Gründer. Ohne Verkaufsgespräch, werktags 9–18 Uhr. Wir besprechen, ob und wie Private KI in Ihrem Unternehmen Sinn ergibt.
Mehr aus dieser Säule
Private KI
Definition: Private KI bezeichnet eine KI-Plattform, die ausschließlich auf vom Unternehmen kontrollierter Infrastruktur betrieben wird – on-prem, in souveräner EU-Cloud oder hybrid – und Daten nicht an US-Provider weitergibt.
3 Min. Lesezeit GlossarRAG (Retrieval-Augmented Generation)
Definition: RAG kombiniert ein Sprachmodell mit einer Suche in eigenen Dokumenten. Statt aus Trainingswissen zu raten, antwortet das Modell auf Basis abgerufener Textstellen mit Quellenangabe.
3 Min. Lesezeit GlossarSchatten-KI
Definition: Schatten-KI bezeichnet die ungenehmigte Nutzung öffentlicher KI-Dienste durch Mitarbeitende, ohne Wissen oder Freigabe der IT- oder Compliance-Funktion.
3 Min. Lesezeit