Private KI für den Mittelstand: Der Leitfaden 2026

KI ist 2026 in jedem Mittelstands-Unternehmen längst angekommen. Die Frage ist nur: kontrolliert oder unkontrolliert. Laut der Software-AG-Studie „Chasing Shadows" (2024, n=6.000 Knowledge Worker in DE/USA/UK) nutzt mehr als die Hälfte der Belegschaft KI-Tools, die ihre IT nicht kennt. CybSafe / NCA „Oh Behave!" (2024, n>7.000) hat erhoben, dass 38 % aller Mitarbeitenden sensible Daten in öffentliche KI-Modelle eingeben – Mandantenakten, Kalkulationen, Personaldaten, Quellcode. Eine durchschnittliche Datenpanne kostet deutsche Unternehmen 3,87 Mio. € (IBM Cost of a Data Breach Report 2025) – in der Industrie sogar 6,67 Mio. €. Mit dem NIS2UmsuCG (in Kraft seit Dezember 2025) haftet die Geschäftsführung im Zweifel persönlich.

Dieser Leitfaden zeigt, wie Sie das Problem lösen, ohne KI komplett zu verbieten – durch eine Private-KI-Plattform, die Ihren Mitarbeitenden eine attraktive offizielle Alternative gibt, sensible Daten im Unternehmen hält und gegenüber Auditoren sauber dokumentiert ist. Er richtet sich an Geschäftsführung, IT-Leitung, Datenschutzverantwortliche und Compliance-Funktionen in mittelständischen Unternehmen mit 30–500 Mitarbeitenden.

Was bedeutet „Private KI" – und was nicht?

Private KI bezeichnet eine KI-Plattform, die ausschließlich auf Infrastruktur betrieben wird, die Sie selbst kontrollieren. Das kann sein:

• On-Premise: im eigenen Rechenzentrum, optional air-gapped
• EU-Cloud: in einer souveränen europäischen Cloud (z. B. STACKIT, IONOS, Open Telekom Cloud)
• Hybrid: Inferenz on-prem, Vektorindex in der EU-Cloud, Modelle bei einem EU-Hyperscaler

Was Private KI nicht ist: Eine Lizenz für „ChatGPT Enterprise" oder „Microsoft 365 Copilot". Diese Produkte sind kommerziell relevante, aber öffentliche KI-Dienste – die Daten verlassen Ihr Unternehmen, auch wenn vertraglich Auftragsverarbeitung zugesichert wird. Für ein Steuerberater-Mandantengeheimnis oder für streng vertrauliche Industriedokumentation reicht das oft nicht.

Private KI ist auch keine reine Inhouse-Entwicklung. Sie kombiniert in der Regel Open-Source-Komponenten (LLMs wie Llama 4, Mistral oder Qwen 3, Vektordatenbanken wie Qdrant, Anwendungs-Frameworks wie LangChain) mit einer applikationsspezifischen Schicht für Authentifizierung, Rechte und Auditierung. Sie kaufen also nicht ein einzelnes Produkt, sondern eine Architektur und einen Betrieb.

Warum sich das Thema 2026 nicht mehr aussitzen lässt

Drei Treiber bringen die Entscheidung in jedem Mittelstands-Unternehmen 2026 auf den Tisch:

1. Schatten-KI ist bereits da

Nur 17 % der Unternehmen haben laut IBM Cost of a Data Breach Report 2025 automatisierte Controls (Blocking/Scanning), die verhindern, dass Mitarbeitende vertrauliche Daten in öffentliche KI-Tools hochladen. 97 % der Unternehmen, in denen es zu einem KI-bezogenen Sicherheitsvorfall kam, hatten keine sauberen AI-Access-Controls; 63 % haben gar keine AI-Governance-Policy. Das Problem ist also nicht „sollen wir KI einführen?", sondern „wie holen wir die Schatten-KI offiziell auf eine kontrollierte Plattform?".

Die zweite Beobachtung aus der Praxis: Verbote funktionieren nicht. Sobald Mitarbeitende bemerken, dass ein KI-Tool ihnen abends zwei Stunden spart, finden sie Wege. Eine offizielle, gleich gute oder bessere Alternative ist die einzige nachhaltige Antwort.

2. NIS2 macht Cyber-Sorgfalt zur Geschäftsführerpflicht

Das deutsche NIS2-Umsetzungsgesetz (NIS2UmsuCG) ist seit dem 6. Dezember 2025 ohne Übergangsfrist in Kraft. Rund 29.500 deutsche Unternehmen müssen messbar nachweisen, dass sie Cyber- und Daten-Risiken aktiv managen. Geschäftsführung haftet im Schadensfall mit Privatvermögen. Eine unkontrollierte KI-Nutzung ist in einem NIS2-Audit 2026 schwer zu verteidigen.

Konkret heißt das: Ein Auditor, der fragt „Wo werden Mandantendaten verarbeitet?", erwartet eine vollständige Antwort. „Wir vermuten, dass einige Mitarbeitende ChatGPT nutzen, sind aber nicht sicher" reicht nicht. Eine Private-KI-Plattform mit Audit-Log und dokumentiertem Rechte-Konzept liefert die Antwort, die NIS2 verlangt.

3. Mandantengeheimnis und besondere Sorgfaltspflichten

Steuerberater (§ 57 StBerG), Wirtschaftsprüfer (§ 43 WPO), Anwälte (§ 43a BRAO) und Ärzte (§ 203 StGB) haben persönliche Verschwiegenheitspflichten. Eine KI, die Mandantendaten an US-Provider weitergibt, verstößt potenziell gegen Berufsrecht – mit Konsequenzen weit über DSGVO-Bußgelder hinaus.

Das gilt zunehmend auch für Industrieunternehmen mit FuE-Doku, Steuerberatungs-Outsourcing-Anbieter oder ITK-Dienstleister mit Auftragsdatenverarbeitung. Die Pflicht zur eigenständigen Kontrolle der Daten lässt sich nicht delegieren.

Die zwei Anwendungsfälle, mit denen Private KI im Mittelstand beginnt

Erfahrungsgemäß deckt eine produktive Private-KI-Plattform anfangs zwei Use-Cases ab, die zusammen bereits den Großteil der Wertschöpfung erzeugen:

A) Internes „ChatGPT" – ohne Datenabfluss

Ein interner Chat-Assistent, mit dem Mitarbeitende täglich arbeiten – Texte zusammenfassen, Entwürfe schreiben, Code erklären, Mails formulieren. Dieselbe Funktion wie ChatGPT, aber mit der Garantie, dass nichts das Unternehmen verlässt. Damit ziehen Sie 80 % der Schatten-KI-Nutzung auf eine offizielle Plattform.

Praxisrelevant: Die UX muss mindestens so gut sein wie das, was Mitarbeitende heute privat nutzen. Eine träge, häßliche Inhouse-Lösung wird nicht angenommen, egal wie sicher sie ist. Einer der häufigsten Pilot-Fehler ist es, an dieser Stelle zu sparen.

B) Wissensbasierter Assistent („Wo steht das nochmal?")

Ein KI-Assistent, der Antworten mit Quellenangabe aus Ihren eigenen Dokumenten gibt: Verträge, Verfahrensanweisungen, Arbeitsanweisungen, Mandanten-Akten, technische Spezifikationen. Statt „raten" liefert das System konkrete Textstellen mit Verweis auf Datei, Seite und Datum. Die Technologie dahinter heißt Retrieval-Augmented Generation (RAG) und ist 2026 Standard in produktiven Setups.

Der Wert wird oft erst sichtbar, wenn Mitarbeitende das System ein paar Wochen genutzt haben. Vorher klingen die Use-Cases abstrakt, danach kommen Sätze wie „Wie haben wir vor zehn Jahren ohne das Ding gearbeitet?". Genau das ist das Ziel.

Architektur einer produktiven Private-KI-Plattform

Eine produktionsreife Private-KI-Lösung besteht aus mindestens fünf Bausteinen:

1. Sprachmodell (LLM): open-source-basiert (z. B. Llama 4, Mistral Large, Qwen 3, DeepSeek-V3) oder kommerziell (z. B. EU-gehostetes Mistral Le Chat Enterprise, Aleph Alpha Pharia). Auswahl hängt von Sprachqualität, Kontextfenster und Hosting-Variante ab.
2. Vektordatenbank: speichert Dokument-Embeddings, ermöglicht semantische Suche. Optionen: Qdrant, Weaviate, pgvector.
3. Ingestion-Pipeline: normalisiert PDFs, DOCX, Confluence, SharePoint, E-Mails, Datenbanken zu durchsuchbarem Text mit Quellen-Metadaten.
4. Anwendungs-Layer: Chat-UI, Rollen- und Rechte-Modell, Audit-Log, Admin-Panel.
5. Betriebs-Layer: Monitoring, Backup, Updates, Capacity-Planning.

Ohne eine saubere Ingestion-Pipeline und ein durchdachtes Rechte-Modell entsteht schnell ein Risiko-Tool: Das System darf nicht jedem alles zeigen. Eine Praktikantin sollte keine Vorstandsverträge sehen, ein Mandanten-Sachbearbeiter keine Akten anderer Mandanten.

Die folgenden drei Sektionen vertiefen die Bausteine, an denen mittelständische Einführungen am häufigsten kippen: Hosting-Modell, Modellauswahl und Datenanbindung.

Hosting-Modelle im Detail

On-Premise

Das Modell mit der höchsten Kontrolle. Modelle, Vektorindex und Anwendung laufen in Ihrem Rechenzentrum, optional air-gapped (ohne Internetverbindung). Sinnvoll bei besonders sensiblen Daten (Mandantengeheimnis, FuE, Verteidigung), bei vorhandener IT-Infrastruktur und ab einer Größe, in der die Hardware-Investition (typisch 30.000–80.000 € für 50–150 aktive Nutzende mit Open-Source-LLMs auf einer Single- oder Dual-GPU-Konfiguration) sich gegen mehrjährige SaaS-Kosten rechnet.

Anti-Pattern: On-Premise „weil es sich richtig anfühlt", obwohl die IT keine GPU-Erfahrung hat. Ohne Operations-Reife für GPU-Treiber, Modell-Updates und Lastspitzen wird das Projekt teuer.

Souveräne EU-Cloud

Hosting bei deutschen oder europäischen Anbietern wie STACKIT (Schwarz-Gruppe), IONOS, Open Telekom Cloud oder OVHcloud. Vorteil: keine Hardware-Investition, schneller Aufbau, Skalierbarkeit. Daten bleiben in EU-Rechtskreis, kein Cloud-Act-Konflikt. Modell der Wahl für die meisten Mittelständler ohne eigenes Rechenzentrum.

Praxis-Hinweis: Bei der Provider-Auswahl auf den Sitz der Konzernmutter achten, nicht nur auf den Server-Standort. Ein „EU-Server" eines US-Konzerns ist datenschutzrechtlich nicht gleichbedeutend mit einem EU-Anbieter.

Hybrid

Inferenz on-prem (sensitive Daten verlassen das Unternehmen nie), Vektorindex und Anwendungs-Backbone in der EU-Cloud (Skalierung und Ausfallsicherheit). Sinnvoll für Unternehmen mit hoher Datensensibilität, aber begrenzter eigener Operations-Tiefe. Mehraufwand in der Architektur, dafür beste Balance aus Kontrolle und Betrieb.

Modellauswahl: Was 2026 für den Mittelstand zählt

Die Modell-Landschaft hat sich 2024–2026 dramatisch verändert. Open-Source-Modelle (Llama 4 von Meta, Mistral Large, Qwen 3, DeepSeek-V3) sind in vielen Disziplinen mit den führenden kommerziellen Modellen konkurrenzfähig – bei deutlich geringeren Kosten und voller Kontrolle. Llama 4 (April 2025) bringt mit den Varianten Scout und Maverick erstmals Mixture-of-Experts-Architektur und Kontextfenster bis 10 Mio. Tokens in den Open-Source-Bereich.

Auswahlkriterien:

• Deutsch-Qualität: nicht alle Modelle sind in Deutsch gleich gut. Mistral, Aleph Alpha (Pharia-1) und einige Llama-4-Finetunes sind hier führend; viele asiatische Modelle fallen ab, allerdings hat Qwen 3 in Deutsch deutlich aufgeholt.
• Kontextfenster: wieviel Text das Modell pro Anfrage „sehen" kann. 128k Tokens sind 2026 Standard; Llama 4 Scout liegt bei 10 Mio. Tokens, was für ganze Akten-Korpora reicht.
• Lizenz: Llama 4 und Mistral sind kommerziell nutzbar (mit Einschränkungen für sehr große Anbieter). Manche Modelle sind nur für Forschung freigegeben.
• Hardware-Footprint: ein 70B-Modell braucht andere GPUs als ein 7B-Modell. Für viele Mittelstands-Use-Cases reichen Modelle in der 7B–17B-Klasse (z. B. Llama 4 Scout mit 17B aktiven Parametern), die auf einer einzelnen H100 laufen.
• EU-Hosting verfügbar: Mistral, Aleph Alpha und einige Llama-Distributionen werden von EU-Anbietern als Managed Service angeboten.

In den meisten unserer Projekte wählen wir nicht das beste Modell, sondern das passendste: Eine Mistral- oder Llama-4-Variante in einer mittleren Größe, EU-gehostet, mit guten Deutsch-Leistungen. Bei besonders anspruchsvollen Aufgaben (komplexe juristische Recherche, Code-Review) ergänzen wir später ein größeres Modell für ausgewählte Anwendungsfälle.

Datenanbindung: Vom Dokument zur durchsuchbaren Antwort

Die Ingestion-Pipeline bestimmt, ob das System gut wird. Schritte:

1. Quellen identifizieren: Welche Systeme enthalten das Wissen? Typisch: Dateifreigaben (SMB/SharePoint), DMS (DocuWare, ELO, d.velop), Confluence, Jira, E-Mail-Postfächer, Fachanwendungen mit eigenem Datenmodell.
2. Permissions extrahieren: ACLs aus den Quellsystemen müssen mit übernommen werden, sonst zeigt das System jedem alles. Das ist die häufigste Stolperstelle in der Praxis.
3. Normalisierung: PDFs (mit OCR für gescannte Dokumente), DOCX, XLSX, HTML, E-Mails werden in durchsuchbaren Text mit Metadaten umgewandelt.
4. Chunking: Texte werden in semantisch sinnvolle Abschnitte zerlegt (typisch 500–1.500 Tokens pro Chunk). Naives Chunking auf fester Wort-Anzahl produziert schlechte Antworten – sinnvoll ist Chunking entlang von Überschriften, Absätzen, Tabellen.
5. Embeddings: jeder Chunk wird in einen mathematischen Vektor übersetzt (typisch 768 oder 1024 Dimensionen) und in der Vektordatenbank gespeichert.
6. Inkrementelle Updates: Wenn ein Vertrag geändert wird, muss das System die neue Version sehen, die alte vergessen, die Permissions neu prüfen. Daily Sync ist Minimum.

Wir empfehlen, mit 3–5 Quellen zu starten, die zusammen 60–70 % des relevanten Wissens abdecken. Ein vollständiger Ingest aller Systeme ist eher eine Falle: zu viel Aufwand, zu viel Rauschen, zu wenig schneller Nutzen.

DSGVO und NIS2: Was eine saubere Einführung adressieren muss

Eine Private-KI-Einführung, die später einem Audit standhalten soll, muss von Anfang an folgende Punkte sauber dokumentieren:

• Verzeichnis von Verarbeitungstätigkeiten (Art. 30 DSGVO): ergänzt um „interne KI-Verarbeitung" mit Beschreibung von Zwecken, Datenkategorien und Empfängern.
• Auftragsverarbeitungsverträge mit allen relevanten Sub-Providern (Hosting, ggf. Modell-Provider in der EU).
• Rollen- und Rechte-Konzept: wer darf welche Quellen sehen, wer darf Antworten freigeben, wer ist Daten-Verantwortlicher.
• Audit-Log: revisionssicher, mindestens 12 Monate aufbewahrt – kritisch für NIS2 und Berufsrechts-Compliance. Inhalte: Wer hat wann welche Frage gestellt, welche Quellen wurden gesehen, welche Antwort wurde generiert.
• KI-Richtlinie für Mitarbeitende: klare Regeln, was das System darf und was nicht, integriert in Onboarding und Trainings.
• Datenschutz-Folgenabschätzung (Art. 35 DSGVO): verpflichtend, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten der Betroffenen mit sich bringt – insbesondere bei systematischer Verarbeitung besonderer Datenkategorien oder neuer Technologien.
• Lösch-Konzept: Wenn ein Vertrag oder eine Akte gelöscht wird, muss das System die zugehörigen Embeddings ebenfalls vergessen. Nicht trivial, aber Pflicht.

Wer diese Punkte erst nachträglich aufsetzt, hat den dreifachen Aufwand. Es zahlt sich aus, sie als Teil des Rollout-Pakets zu behandeln.

Fünf Anti-Patterns, die KI-Piloten zerstören

In unseren Projekten sehen wir immer wieder dieselben Fehler. Wer diese fünf vermeidet, hat schon viel gewonnen:

1. Die „eierlegende Wollmilchsau"-Spezifikation. „Es soll alle unsere Daten kennen und alle unsere Fragen beantworten" ist kein Use-Case, sondern eine Wunschliste. Erfolgreiche Piloten haben 1–2 sehr konkret beschriebene Anwendungsfälle.
2. Beim Pilot an der UX sparen. Ein hässliches, langsames Interface wird nicht genutzt, egal wie sicher es ist. Mitarbeitende vergleichen mental mit ChatGPT – nicht mit der Excel-Tabelle, die sie ersetzen sollen.
3. Permissions später lösen. Ein System, das im Pilot „erstmal alles zeigt", muss im Produktivbetrieb komplett umgebaut werden. Permissions und ACLs gehören in Tag 1.
4. Zu kleines Modell wählen, um Geld zu sparen. Ein 3B-Modell, das nicht überzeugend antwortet, kostet langfristig mehr (in Vertrauensverlust) als ein 13B-Modell auf einer richtigen GPU.
5. Kein Owner für den Betrieb. Nach dem Pilot „läuft das Ding ja". Bis es nicht mehr läuft, oder bis ein Modell-Update neue Antwortmuster bringt. Ohne klaren Operations-Owner zerfasert die Nutzung über 6–12 Monate.

Vom Pilot zum Betrieb in 30 Tagen

Code15 strukturiert Private-KI-Einführungen in einem definierten 30-Tage-Pilot-Modell statt in offenen Beratungsstunden. Das macht das Vorhaben für Geschäftsführung und Controlling planbar und reduziert das klassische Risiko von KI-Projekten („wir haben 200.000 € ausgegeben und niemand nutzt das Ding").

• Woche 1 – Scope und Erfolgskriterien: Use-Cases priorisieren, Datenquellen identifizieren, Erfolgskriterien definieren (z. B. „85 % der wiederkehrenden Recherchefragen beantwortet das System in unter 30 Sekunden").
• Woche 2 – Setup und Datenanbindung: Infrastruktur aufsetzen, erste 3–5 Datenquellen anbinden, Rechte-Konzept implementieren.
• Woche 3 – Pilot mit 5–15 Nutzenden: echte Arbeit damit, Feedback einsammeln, Ingestion und Prompts anpassen.
• Woche 4 – Übergabe und Betriebs-Check: Audit-Log, Backup, Monitoring, Schulungen, KI-Richtlinie. System geht in den geregelten Betrieb.

Nach 30 Tagen läuft eine produktive Plattform. Skalierung auf weitere Datenquellen und Nutzergruppen passiert anschließend in monatlichen Iterationen.

Beispiel-ROI: Steuerkanzlei mit 50 Mitarbeitenden

Eine Beispielrechnung aus unserer Praxis (Kanzlei, 50 MA, ca. 35 fachlich arbeitende Personen): Vor Einführung verbrachten Mitarbeitende im Schnitt 45 Minuten pro Tag mit Recherche in alten Akten, Verfahrensanweisungen, internen Klärungs-Mails und Steuerrichtlinien. Bei 35 Personen, 220 Arbeitstagen und einer internen Stundenrate von 65 € sind das:

35 × (45/60) × 220 × 65 € ≈ 376.000 € pro Jahr an unproduktiver Suchzeit.

Eine Private-KI-Plattform reduziert diesen Aufwand erfahrungsgemäß um 40–60 % (bei sauberem Pilot und realer Nutzung). Selbst auf der niedrigeren Schätzung sind das ca. 150.000 € an wiedergewonnener Arbeitszeit pro Jahr. Setup- und Betriebskosten einer mittelgroßen Plattform liegen typischerweise im deutlich unteren sechsstelligen Bereich pro Jahr – die Amortisationszeit unter 12 Monaten.

Wichtig: Die wahre Wirkung liegt selten nur in der Effizienz, sondern in der Qualität der Antworten. Mandanten bekommen schneller belastbare Auskünfte; Onboarding neuer Mitarbeitender geht von Wochen auf Tage; Schlüsselwissen wird unabhängiger von einzelnen Personen.

Was kostet das?

Eine ehrliche Antwort lautet: das hängt vom Setup-Umfang ab. Faktoren sind die Anzahl der Nutzenden, das Modellbedürfnis (Open-Source on-prem vs. EU-Cloud-Premium), die Anzahl angebundener Datenquellen und die Frage, ob Sie selbst betreiben oder Managed Service kaufen.

Was wir verbindlich sagen können: Wir besprechen den konkreten Setup-Rahmen im Erstgespräch. Es gibt kein Modell, das im Mittelstand sinnvoll ist und gleichzeitig pauschal vorhersagbar ist – wer Ihnen pauschal eine Zahl nennt, optimiert ein Standardpaket, nicht Ihre tatsächlichen Use-Cases.

Faustregel: Ein produktiver Pilot (Woche 1–4) liegt deutlich unter dem, was eine durchschnittliche Datenpanne kostet (3,87 Mio. € in Deutschland 2025; 6,67 Mio. € in der Industrie laut IBM Cost of a Data Breach Report 2025). Der laufende Betrieb skaliert mit Nutzendenzahl und Datenvolumen, ist aber gut planbar – nicht nutzungsabhängig wie bei kommerziellen KI-Diensten.

Wo Sie als Nächstes weiterlesen

• Wenn Sie noch entscheiden, ob Private KI oder ChatGPT Enterprise das Richtige ist: lesen Sie "Private KI vs. ChatGPT".
• Wenn Sie das Schatten-KI-Problem in Ihrem Haus eindämmen wollen: "Schatten-KI im Unternehmen: 50 % nutzen sie heimlich – was tun?".
• Wenn Sie als Geschäftsführerin oder Geschäftsführer die NIS2-Haftungsfrage klären müssen: "NIS2 + KI: Geschäftsführerhaftung 2026".
• Wenn Sie speziell als Steuerberater einsteigen: "KI in der Steuerkanzlei: Praxis-Guide 2026" (in Vorbereitung).

Wer das Thema lieber direkt durchsprechen möchte, ruft an: Direkt mit Nico Meyer, werktags 9–18 Uhr, ohne Verkaufsgespräch.