[{"data":1,"prerenderedAt":1209},["ShallowReactive",2],{"wissen-\u002Fwissen\u002Fprivate-ki-leitfaden":3,"autor-nico-meyer":678,"related-\u002Fwissen\u002Fprivate-ki-leitfaden":847},{"id":4,"title":5,"author":6,"body":7,"cover":631,"coverAlt":631,"dateModified":632,"datePublished":633,"description":634,"draft":635,"extension":636,"faqItems":637,"format":662,"meta":663,"navigation":664,"path":665,"pillar":666,"readMinutes":667,"relatedServiceSlug":668,"relatedVariantSlug":631,"seo":669,"speakable":664,"stem":670,"tags":671,"__hash__":677},"wissen\u002Fwissen\u002Fprivate-ki-leitfaden.md","Private KI für den Mittelstand: Der Leitfaden 2026","nico-meyer",{"type":8,"value":9,"toc":602},"minimark",[10,23,30,35,42,64,75,86,90,93,98,101,104,108,115,118,122,129,132,136,139,143,150,153,157,168,171,175,178,211,214,217,221,225,228,231,235,238,245,249,252,256,259,262,294,305,309,312,350,357,361,364,408,411,415,418,450,454,461,487,490,494,501,508,523,530,534,541,548,551,555,559,596],[11,12,13,14,18,19,22],"p",{},"KI ist 2026 in jedem Mittelstands-Unternehmen längst angekommen. Die Frage ist nur: ",[15,16,17],"strong",{},"kontrolliert"," oder ",[15,20,21],{},"unkontrolliert",". Laut der Software-AG-Studie „Chasing Shadows\" (2024, n=6.000 Knowledge Worker in DE\u002FUSA\u002FUK) nutzt mehr als die Hälfte der Belegschaft KI-Tools, die ihre IT nicht kennt. CybSafe \u002F NCA „Oh Behave!\" (2024, n>7.000) hat erhoben, dass 38 % aller Mitarbeitenden sensible Daten in öffentliche KI-Modelle eingeben – Mandantenakten, Kalkulationen, Personaldaten, Quellcode. Eine durchschnittliche Datenpanne kostet deutsche Unternehmen 3,87 Mio. € (IBM Cost of a Data Breach Report 2025) – in der Industrie sogar 6,67 Mio. €. Mit dem NIS2UmsuCG (in Kraft seit Dezember 2025) haftet die Geschäftsführung im Zweifel persönlich.",[11,24,25,26,29],{},"Dieser Leitfaden zeigt, wie Sie das Problem lösen, ohne KI komplett zu verbieten – durch eine ",[15,27,28],{},"Private-KI-Plattform",", die Ihren Mitarbeitenden eine attraktive offizielle Alternative gibt, sensible Daten im Unternehmen hält und gegenüber Auditoren sauber dokumentiert ist. Er richtet sich an Geschäftsführung, IT-Leitung, Datenschutzverantwortliche und Compliance-Funktionen in mittelständischen Unternehmen mit 30–500 Mitarbeitenden.",[31,32,34],"h2",{"id":33},"was-bedeutet-private-ki-und-was-nicht","Was bedeutet „Private KI\" – und was nicht?",[11,36,37,38,41],{},"Private KI bezeichnet eine KI-Plattform, die ausschließlich auf Infrastruktur betrieben wird, ",[15,39,40],{},"die Sie selbst kontrollieren",". Das kann sein:",[43,44,45,52,58],"ul",{},[46,47,48,51],"li",{},[15,49,50],{},"On-Premise:"," im eigenen Rechenzentrum, optional air-gapped",[46,53,54,57],{},[15,55,56],{},"EU-Cloud:"," in einer souveränen europäischen Cloud (z. B. STACKIT, IONOS, Open Telekom Cloud)",[46,59,60,63],{},[15,61,62],{},"Hybrid:"," Inferenz on-prem, Vektorindex in der EU-Cloud, Modelle bei einem EU-Hyperscaler",[11,65,66,67,70,71,74],{},"Was Private KI ",[15,68,69],{},"nicht"," ist: Eine Lizenz für „ChatGPT Enterprise\" oder „Microsoft 365 Copilot\". Diese Produkte sind kommerziell relevante, aber ",[15,72,73],{},"öffentliche"," KI-Dienste – die Daten verlassen Ihr Unternehmen, auch wenn vertraglich Auftragsverarbeitung zugesichert wird. Für ein Steuerberater-Mandantengeheimnis oder für streng vertrauliche Industriedokumentation reicht das oft nicht.",[11,76,77,78,81,82,85],{},"Private KI ist auch keine reine Inhouse-Entwicklung. Sie kombiniert in der Regel ",[15,79,80],{},"Open-Source-Komponenten"," (LLMs wie Llama 4, Mistral oder Qwen 3, Vektordatenbanken wie Qdrant, Anwendungs-Frameworks wie LangChain) mit einer ",[15,83,84],{},"applikationsspezifischen Schicht"," für Authentifizierung, Rechte und Auditierung. Sie kaufen also nicht ein einzelnes Produkt, sondern eine Architektur und einen Betrieb.",[31,87,89],{"id":88},"warum-sich-das-thema-2026-nicht-mehr-aussitzen-lässt","Warum sich das Thema 2026 nicht mehr aussitzen lässt",[11,91,92],{},"Drei Treiber bringen die Entscheidung in jedem Mittelstands-Unternehmen 2026 auf den Tisch:",[94,95,97],"h3",{"id":96},"_1-schatten-ki-ist-bereits-da","1. Schatten-KI ist bereits da",[11,99,100],{},"Nur 17 % der Unternehmen haben laut IBM Cost of a Data Breach Report 2025 automatisierte Controls (Blocking\u002FScanning), die verhindern, dass Mitarbeitende vertrauliche Daten in öffentliche KI-Tools hochladen. 97 % der Unternehmen, in denen es zu einem KI-bezogenen Sicherheitsvorfall kam, hatten keine sauberen AI-Access-Controls; 63 % haben gar keine AI-Governance-Policy. Das Problem ist also nicht „sollen wir KI einführen?\", sondern „wie holen wir die Schatten-KI offiziell auf eine kontrollierte Plattform?\".",[11,102,103],{},"Die zweite Beobachtung aus der Praxis: Verbote funktionieren nicht. Sobald Mitarbeitende bemerken, dass ein KI-Tool ihnen abends zwei Stunden spart, finden sie Wege. Eine offizielle, gleich gute oder bessere Alternative ist die einzige nachhaltige Antwort.",[94,105,107],{"id":106},"_2-nis2-macht-cyber-sorgfalt-zur-geschäftsführerpflicht","2. NIS2 macht Cyber-Sorgfalt zur Geschäftsführerpflicht",[11,109,110,111,114],{},"Das deutsche NIS2-Umsetzungsgesetz (NIS2UmsuCG) ist seit dem 6. Dezember 2025 ohne Übergangsfrist in Kraft. Rund 29.500 deutsche Unternehmen müssen messbar nachweisen, dass sie Cyber- und Daten-Risiken aktiv managen. Geschäftsführung haftet im Schadensfall ",[15,112,113],{},"mit Privatvermögen",". Eine unkontrollierte KI-Nutzung ist in einem NIS2-Audit 2026 schwer zu verteidigen.",[11,116,117],{},"Konkret heißt das: Ein Auditor, der fragt „Wo werden Mandantendaten verarbeitet?\", erwartet eine vollständige Antwort. „Wir vermuten, dass einige Mitarbeitende ChatGPT nutzen, sind aber nicht sicher\" reicht nicht. Eine Private-KI-Plattform mit Audit-Log und dokumentiertem Rechte-Konzept liefert die Antwort, die NIS2 verlangt.",[94,119,121],{"id":120},"_3-mandantengeheimnis-und-besondere-sorgfaltspflichten","3. Mandantengeheimnis und besondere Sorgfaltspflichten",[11,123,124,125,128],{},"Steuerberater (§ 57 StBerG), Wirtschaftsprüfer (§ 43 WPO), Anwälte (§ 43a BRAO) und Ärzte (§ 203 StGB) haben ",[15,126,127],{},"persönliche"," Verschwiegenheitspflichten. Eine KI, die Mandantendaten an US-Provider weitergibt, verstößt potenziell gegen Berufsrecht – mit Konsequenzen weit über DSGVO-Bußgelder hinaus.",[11,130,131],{},"Das gilt zunehmend auch für Industrieunternehmen mit FuE-Doku, Steuerberatungs-Outsourcing-Anbieter oder ITK-Dienstleister mit Auftragsdatenverarbeitung. Die Pflicht zur eigenständigen Kontrolle der Daten lässt sich nicht delegieren.",[31,133,135],{"id":134},"die-zwei-anwendungsfälle-mit-denen-private-ki-im-mittelstand-beginnt","Die zwei Anwendungsfälle, mit denen Private KI im Mittelstand beginnt",[11,137,138],{},"Erfahrungsgemäß deckt eine produktive Private-KI-Plattform anfangs zwei Use-Cases ab, die zusammen bereits den Großteil der Wertschöpfung erzeugen:",[94,140,142],{"id":141},"a-internes-chatgpt-ohne-datenabfluss","A) Internes „ChatGPT\" – ohne Datenabfluss",[11,144,145,146,149],{},"Ein interner Chat-Assistent, mit dem Mitarbeitende täglich arbeiten – Texte zusammenfassen, Entwürfe schreiben, Code erklären, Mails formulieren. ",[15,147,148],{},"Dieselbe Funktion wie ChatGPT, aber mit der Garantie, dass nichts das Unternehmen verlässt."," Damit ziehen Sie 80 % der Schatten-KI-Nutzung auf eine offizielle Plattform.",[11,151,152],{},"Praxisrelevant: Die UX muss mindestens so gut sein wie das, was Mitarbeitende heute privat nutzen. Eine träge, häßliche Inhouse-Lösung wird nicht angenommen, egal wie sicher sie ist. Einer der häufigsten Pilot-Fehler ist es, an dieser Stelle zu sparen.",[94,154,156],{"id":155},"b-wissensbasierter-assistent-wo-steht-das-nochmal","B) Wissensbasierter Assistent („Wo steht das nochmal?\")",[11,158,159,160,163,164,167],{},"Ein KI-Assistent, der Antworten ",[15,161,162],{},"mit Quellenangabe"," aus Ihren eigenen Dokumenten gibt: Verträge, Verfahrensanweisungen, Arbeitsanweisungen, Mandanten-Akten, technische Spezifikationen. Statt „raten\" liefert das System konkrete Textstellen mit Verweis auf Datei, Seite und Datum. Die Technologie dahinter heißt ",[15,165,166],{},"Retrieval-Augmented Generation (RAG)"," und ist 2026 Standard in produktiven Setups.",[11,169,170],{},"Der Wert wird oft erst sichtbar, wenn Mitarbeitende das System ein paar Wochen genutzt haben. Vorher klingen die Use-Cases abstrakt, danach kommen Sätze wie „Wie haben wir vor zehn Jahren ohne das Ding gearbeitet?\". Genau das ist das Ziel.",[31,172,174],{"id":173},"architektur-einer-produktiven-private-ki-plattform","Architektur einer produktiven Private-KI-Plattform",[11,176,177],{},"Eine produktionsreife Private-KI-Lösung besteht aus mindestens fünf Bausteinen:",[179,180,181,187,193,199,205],"ol",{},[46,182,183,186],{},[15,184,185],{},"Sprachmodell (LLM):"," open-source-basiert (z. B. Llama 4, Mistral Large, Qwen 3, DeepSeek-V3) oder kommerziell (z. B. EU-gehostetes Mistral Le Chat Enterprise, Aleph Alpha Pharia). Auswahl hängt von Sprachqualität, Kontextfenster und Hosting-Variante ab.",[46,188,189,192],{},[15,190,191],{},"Vektordatenbank:"," speichert Dokument-Embeddings, ermöglicht semantische Suche. Optionen: Qdrant, Weaviate, pgvector.",[46,194,195,198],{},[15,196,197],{},"Ingestion-Pipeline:"," normalisiert PDFs, DOCX, Confluence, SharePoint, E-Mails, Datenbanken zu durchsuchbarem Text mit Quellen-Metadaten.",[46,200,201,204],{},[15,202,203],{},"Anwendungs-Layer:"," Chat-UI, Rollen- und Rechte-Modell, Audit-Log, Admin-Panel.",[46,206,207,210],{},[15,208,209],{},"Betriebs-Layer:"," Monitoring, Backup, Updates, Capacity-Planning.",[11,212,213],{},"Ohne eine saubere Ingestion-Pipeline und ein durchdachtes Rechte-Modell entsteht schnell ein Risiko-Tool: Das System darf nicht jedem alles zeigen. Eine Praktikantin sollte keine Vorstandsverträge sehen, ein Mandanten-Sachbearbeiter keine Akten anderer Mandanten.",[11,215,216],{},"Die folgenden drei Sektionen vertiefen die Bausteine, an denen mittelständische Einführungen am häufigsten kippen: Hosting-Modell, Modellauswahl und Datenanbindung.",[31,218,220],{"id":219},"hosting-modelle-im-detail","Hosting-Modelle im Detail",[94,222,224],{"id":223},"on-premise","On-Premise",[11,226,227],{},"Das Modell mit der höchsten Kontrolle. Modelle, Vektorindex und Anwendung laufen in Ihrem Rechenzentrum, optional air-gapped (ohne Internetverbindung). Sinnvoll bei besonders sensiblen Daten (Mandantengeheimnis, FuE, Verteidigung), bei vorhandener IT-Infrastruktur und ab einer Größe, in der die Hardware-Investition (typisch 30.000–80.000 € für 50–150 aktive Nutzende mit Open-Source-LLMs auf einer Single- oder Dual-GPU-Konfiguration) sich gegen mehrjährige SaaS-Kosten rechnet.",[11,229,230],{},"Anti-Pattern: On-Premise „weil es sich richtig anfühlt\", obwohl die IT keine GPU-Erfahrung hat. Ohne Operations-Reife für GPU-Treiber, Modell-Updates und Lastspitzen wird das Projekt teuer.",[94,232,234],{"id":233},"souveräne-eu-cloud","Souveräne EU-Cloud",[11,236,237],{},"Hosting bei deutschen oder europäischen Anbietern wie STACKIT (Schwarz-Gruppe), IONOS, Open Telekom Cloud oder OVHcloud. Vorteil: keine Hardware-Investition, schneller Aufbau, Skalierbarkeit. Daten bleiben in EU-Rechtskreis, kein Cloud-Act-Konflikt. Modell der Wahl für die meisten Mittelständler ohne eigenes Rechenzentrum.",[11,239,240,241,244],{},"Praxis-Hinweis: Bei der Provider-Auswahl auf den ",[15,242,243],{},"Sitz der Konzernmutter"," achten, nicht nur auf den Server-Standort. Ein „EU-Server\" eines US-Konzerns ist datenschutzrechtlich nicht gleichbedeutend mit einem EU-Anbieter.",[94,246,248],{"id":247},"hybrid","Hybrid",[11,250,251],{},"Inferenz on-prem (sensitive Daten verlassen das Unternehmen nie), Vektorindex und Anwendungs-Backbone in der EU-Cloud (Skalierung und Ausfallsicherheit). Sinnvoll für Unternehmen mit hoher Datensensibilität, aber begrenzter eigener Operations-Tiefe. Mehraufwand in der Architektur, dafür beste Balance aus Kontrolle und Betrieb.",[31,253,255],{"id":254},"modellauswahl-was-2026-für-den-mittelstand-zählt","Modellauswahl: Was 2026 für den Mittelstand zählt",[11,257,258],{},"Die Modell-Landschaft hat sich 2024–2026 dramatisch verändert. Open-Source-Modelle (Llama 4 von Meta, Mistral Large, Qwen 3, DeepSeek-V3) sind in vielen Disziplinen mit den führenden kommerziellen Modellen konkurrenzfähig – bei deutlich geringeren Kosten und voller Kontrolle. Llama 4 (April 2025) bringt mit den Varianten Scout und Maverick erstmals Mixture-of-Experts-Architektur und Kontextfenster bis 10 Mio. Tokens in den Open-Source-Bereich.",[11,260,261],{},"Auswahlkriterien:",[43,263,264,270,276,282,288],{},[46,265,266,269],{},[15,267,268],{},"Deutsch-Qualität:"," nicht alle Modelle sind in Deutsch gleich gut. Mistral, Aleph Alpha (Pharia-1) und einige Llama-4-Finetunes sind hier führend; viele asiatische Modelle fallen ab, allerdings hat Qwen 3 in Deutsch deutlich aufgeholt.",[46,271,272,275],{},[15,273,274],{},"Kontextfenster:"," wieviel Text das Modell pro Anfrage „sehen\" kann. 128k Tokens sind 2026 Standard; Llama 4 Scout liegt bei 10 Mio. Tokens, was für ganze Akten-Korpora reicht.",[46,277,278,281],{},[15,279,280],{},"Lizenz:"," Llama 4 und Mistral sind kommerziell nutzbar (mit Einschränkungen für sehr große Anbieter). Manche Modelle sind nur für Forschung freigegeben.",[46,283,284,287],{},[15,285,286],{},"Hardware-Footprint:"," ein 70B-Modell braucht andere GPUs als ein 7B-Modell. Für viele Mittelstands-Use-Cases reichen Modelle in der 7B–17B-Klasse (z. B. Llama 4 Scout mit 17B aktiven Parametern), die auf einer einzelnen H100 laufen.",[46,289,290,293],{},[15,291,292],{},"EU-Hosting verfügbar:"," Mistral, Aleph Alpha und einige Llama-Distributionen werden von EU-Anbietern als Managed Service angeboten.",[11,295,296,297,300,301,304],{},"In den meisten unserer Projekte wählen wir nicht ",[15,298,299],{},"das beste"," Modell, sondern das ",[15,302,303],{},"passendste",": Eine Mistral- oder Llama-4-Variante in einer mittleren Größe, EU-gehostet, mit guten Deutsch-Leistungen. Bei besonders anspruchsvollen Aufgaben (komplexe juristische Recherche, Code-Review) ergänzen wir später ein größeres Modell für ausgewählte Anwendungsfälle.",[31,306,308],{"id":307},"datenanbindung-vom-dokument-zur-durchsuchbaren-antwort","Datenanbindung: Vom Dokument zur durchsuchbaren Antwort",[11,310,311],{},"Die Ingestion-Pipeline bestimmt, ob das System gut wird. Schritte:",[179,313,314,320,326,332,338,344],{},[46,315,316,319],{},[15,317,318],{},"Quellen identifizieren:"," Welche Systeme enthalten das Wissen? Typisch: Dateifreigaben (SMB\u002FSharePoint), DMS (DocuWare, ELO, d.velop), Confluence, Jira, E-Mail-Postfächer, Fachanwendungen mit eigenem Datenmodell.",[46,321,322,325],{},[15,323,324],{},"Permissions extrahieren:"," ACLs aus den Quellsystemen müssen mit übernommen werden, sonst zeigt das System jedem alles. Das ist die häufigste Stolperstelle in der Praxis.",[46,327,328,331],{},[15,329,330],{},"Normalisierung:"," PDFs (mit OCR für gescannte Dokumente), DOCX, XLSX, HTML, E-Mails werden in durchsuchbaren Text mit Metadaten umgewandelt.",[46,333,334,337],{},[15,335,336],{},"Chunking:"," Texte werden in semantisch sinnvolle Abschnitte zerlegt (typisch 500–1.500 Tokens pro Chunk). Naives Chunking auf fester Wort-Anzahl produziert schlechte Antworten – sinnvoll ist Chunking entlang von Überschriften, Absätzen, Tabellen.",[46,339,340,343],{},[15,341,342],{},"Embeddings:"," jeder Chunk wird in einen mathematischen Vektor übersetzt (typisch 768 oder 1024 Dimensionen) und in der Vektordatenbank gespeichert.",[46,345,346,349],{},[15,347,348],{},"Inkrementelle Updates:"," Wenn ein Vertrag geändert wird, muss das System die neue Version sehen, die alte vergessen, die Permissions neu prüfen. Daily Sync ist Minimum.",[11,351,352,353,356],{},"Wir empfehlen, mit ",[15,354,355],{},"3–5 Quellen"," zu starten, die zusammen 60–70 % des relevanten Wissens abdecken. Ein vollständiger Ingest aller Systeme ist eher eine Falle: zu viel Aufwand, zu viel Rauschen, zu wenig schneller Nutzen.",[31,358,360],{"id":359},"dsgvo-und-nis2-was-eine-saubere-einführung-adressieren-muss","DSGVO und NIS2: Was eine saubere Einführung adressieren muss",[11,362,363],{},"Eine Private-KI-Einführung, die später einem Audit standhalten soll, muss von Anfang an folgende Punkte sauber dokumentieren:",[43,365,366,372,378,384,390,396,402],{},[46,367,368,371],{},[15,369,370],{},"Verzeichnis von Verarbeitungstätigkeiten (Art. 30 DSGVO):"," ergänzt um „interne KI-Verarbeitung\" mit Beschreibung von Zwecken, Datenkategorien und Empfängern.",[46,373,374,377],{},[15,375,376],{},"Auftragsverarbeitungsverträge"," mit allen relevanten Sub-Providern (Hosting, ggf. Modell-Provider in der EU).",[46,379,380,383],{},[15,381,382],{},"Rollen- und Rechte-Konzept:"," wer darf welche Quellen sehen, wer darf Antworten freigeben, wer ist Daten-Verantwortlicher.",[46,385,386,389],{},[15,387,388],{},"Audit-Log:"," revisionssicher, mindestens 12 Monate aufbewahrt – kritisch für NIS2 und Berufsrechts-Compliance. Inhalte: Wer hat wann welche Frage gestellt, welche Quellen wurden gesehen, welche Antwort wurde generiert.",[46,391,392,395],{},[15,393,394],{},"KI-Richtlinie für Mitarbeitende:"," klare Regeln, was das System darf und was nicht, integriert in Onboarding und Trainings.",[46,397,398,401],{},[15,399,400],{},"Datenschutz-Folgenabschätzung (Art. 35 DSGVO):"," verpflichtend, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten der Betroffenen mit sich bringt – insbesondere bei systematischer Verarbeitung besonderer Datenkategorien oder neuer Technologien.",[46,403,404,407],{},[15,405,406],{},"Lösch-Konzept:"," Wenn ein Vertrag oder eine Akte gelöscht wird, muss das System die zugehörigen Embeddings ebenfalls vergessen. Nicht trivial, aber Pflicht.",[11,409,410],{},"Wer diese Punkte erst nachträglich aufsetzt, hat den dreifachen Aufwand. Es zahlt sich aus, sie als Teil des Rollout-Pakets zu behandeln.",[31,412,414],{"id":413},"fünf-anti-patterns-die-ki-piloten-zerstören","Fünf Anti-Patterns, die KI-Piloten zerstören",[11,416,417],{},"In unseren Projekten sehen wir immer wieder dieselben Fehler. Wer diese fünf vermeidet, hat schon viel gewonnen:",[179,419,420,426,432,438,444],{},[46,421,422,425],{},[15,423,424],{},"Die „eierlegende Wollmilchsau\"-Spezifikation."," „Es soll alle unsere Daten kennen und alle unsere Fragen beantworten\" ist kein Use-Case, sondern eine Wunschliste. Erfolgreiche Piloten haben 1–2 sehr konkret beschriebene Anwendungsfälle.",[46,427,428,431],{},[15,429,430],{},"Beim Pilot an der UX sparen."," Ein hässliches, langsames Interface wird nicht genutzt, egal wie sicher es ist. Mitarbeitende vergleichen mental mit ChatGPT – nicht mit der Excel-Tabelle, die sie ersetzen sollen.",[46,433,434,437],{},[15,435,436],{},"Permissions später lösen."," Ein System, das im Pilot „erstmal alles zeigt\", muss im Produktivbetrieb komplett umgebaut werden. Permissions und ACLs gehören in Tag 1.",[46,439,440,443],{},[15,441,442],{},"Zu kleines Modell wählen, um Geld zu sparen."," Ein 3B-Modell, das nicht überzeugend antwortet, kostet langfristig mehr (in Vertrauensverlust) als ein 13B-Modell auf einer richtigen GPU.",[46,445,446,449],{},[15,447,448],{},"Kein Owner für den Betrieb."," Nach dem Pilot „läuft das Ding ja\". Bis es nicht mehr läuft, oder bis ein Modell-Update neue Antwortmuster bringt. Ohne klaren Operations-Owner zerfasert die Nutzung über 6–12 Monate.",[31,451,453],{"id":452},"vom-pilot-zum-betrieb-in-30-tagen","Vom Pilot zum Betrieb in 30 Tagen",[11,455,456,457,460],{},"Code15 strukturiert Private-KI-Einführungen in einem ",[15,458,459],{},"definierten 30-Tage-Pilot-Modell"," statt in offenen Beratungsstunden. Das macht das Vorhaben für Geschäftsführung und Controlling planbar und reduziert das klassische Risiko von KI-Projekten („wir haben 200.000 € ausgegeben und niemand nutzt das Ding\").",[43,462,463,469,475,481],{},[46,464,465,468],{},[15,466,467],{},"Woche 1 – Scope und Erfolgskriterien:"," Use-Cases priorisieren, Datenquellen identifizieren, Erfolgskriterien definieren (z. B. „85 % der wiederkehrenden Recherchefragen beantwortet das System in unter 30 Sekunden\").",[46,470,471,474],{},[15,472,473],{},"Woche 2 – Setup und Datenanbindung:"," Infrastruktur aufsetzen, erste 3–5 Datenquellen anbinden, Rechte-Konzept implementieren.",[46,476,477,480],{},[15,478,479],{},"Woche 3 – Pilot mit 5–15 Nutzenden:"," echte Arbeit damit, Feedback einsammeln, Ingestion und Prompts anpassen.",[46,482,483,486],{},[15,484,485],{},"Woche 4 – Übergabe und Betriebs-Check:"," Audit-Log, Backup, Monitoring, Schulungen, KI-Richtlinie. System geht in den geregelten Betrieb.",[11,488,489],{},"Nach 30 Tagen läuft eine produktive Plattform. Skalierung auf weitere Datenquellen und Nutzergruppen passiert anschließend in monatlichen Iterationen.",[31,491,493],{"id":492},"beispiel-roi-steuerkanzlei-mit-50-mitarbeitenden","Beispiel-ROI: Steuerkanzlei mit 50 Mitarbeitenden",[11,495,496,497,500],{},"Eine Beispielrechnung aus unserer Praxis (Kanzlei, 50 MA, ca. 35 fachlich arbeitende Personen): Vor Einführung verbrachten Mitarbeitende ",[15,498,499],{},"im Schnitt 45 Minuten pro Tag"," mit Recherche in alten Akten, Verfahrensanweisungen, internen Klärungs-Mails und Steuerrichtlinien. Bei 35 Personen, 220 Arbeitstagen und einer internen Stundenrate von 65 € sind das:",[11,502,503,504,507],{},"35 × (45\u002F60) × 220 × 65 € ≈ ",[15,505,506],{},"376.000 €"," pro Jahr an unproduktiver Suchzeit.",[11,509,510,511,514,515,518,519,522],{},"Eine Private-KI-Plattform reduziert diesen Aufwand erfahrungsgemäß ",[15,512,513],{},"um 40–60 %"," (bei sauberem Pilot und realer Nutzung). Selbst auf der niedrigeren Schätzung sind das ca. ",[15,516,517],{},"150.000 €"," an wiedergewonnener Arbeitszeit pro Jahr. Setup- und Betriebskosten einer mittelgroßen Plattform liegen typischerweise im ",[15,520,521],{},"deutlich unteren sechsstelligen Bereich pro Jahr"," – die Amortisationszeit unter 12 Monaten.",[11,524,525,526,529],{},"Wichtig: Die wahre Wirkung liegt selten nur in der Effizienz, sondern in der ",[15,527,528],{},"Qualität"," der Antworten. Mandanten bekommen schneller belastbare Auskünfte; Onboarding neuer Mitarbeitender geht von Wochen auf Tage; Schlüsselwissen wird unabhängiger von einzelnen Personen.",[31,531,533],{"id":532},"was-kostet-das","Was kostet das?",[11,535,536,537,540],{},"Eine ehrliche Antwort lautet: ",[15,538,539],{},"das hängt vom Setup-Umfang ab."," Faktoren sind die Anzahl der Nutzenden, das Modellbedürfnis (Open-Source on-prem vs. EU-Cloud-Premium), die Anzahl angebundener Datenquellen und die Frage, ob Sie selbst betreiben oder Managed Service kaufen.",[11,542,543,544,547],{},"Was wir verbindlich sagen können: Wir besprechen den konkreten Setup-Rahmen im Erstgespräch. Es gibt ",[15,545,546],{},"kein Modell, das im Mittelstand sinnvoll ist und gleichzeitig pauschal vorhersagbar ist"," – wer Ihnen pauschal eine Zahl nennt, optimiert ein Standardpaket, nicht Ihre tatsächlichen Use-Cases.",[11,549,550],{},"Faustregel: Ein produktiver Pilot (Woche 1–4) liegt deutlich unter dem, was eine durchschnittliche Datenpanne kostet (3,87 Mio. € in Deutschland 2025; 6,67 Mio. € in der Industrie laut IBM Cost of a Data Breach Report 2025). Der laufende Betrieb skaliert mit Nutzendenzahl und Datenvolumen, ist aber gut planbar – nicht nutzungsabhängig wie bei kommerziellen KI-Diensten.",[552,553],"wissen-lead-magnet-form",{"magnet":554},"nis2-audit-checkliste",[31,556,558],{"id":557},"wo-sie-als-nächstes-weiterlesen","Wo Sie als Nächstes weiterlesen",[43,560,561,574,581,588],{},[46,562,563,564,567,568,573],{},"Wenn Sie noch entscheiden, ",[15,565,566],{},"ob Private KI oder ChatGPT Enterprise"," das Richtige ist: lesen Sie ",[569,570,572],"a",{"href":571},"\u002Fwissen\u002Fprivate-ki-vs-chatgpt","\"Private KI vs. ChatGPT\"",".",[46,575,576,577,573],{},"Wenn Sie das Schatten-KI-Problem in Ihrem Haus eindämmen wollen: ",[569,578,580],{"href":579},"\u002Fwissen\u002Fschatten-ki-eindaemmen","\"Schatten-KI im Unternehmen: 50 % nutzen sie heimlich – was tun?\"",[46,582,583,584,573],{},"Wenn Sie als Geschäftsführerin oder Geschäftsführer die NIS2-Haftungsfrage klären müssen: ",[569,585,587],{"href":586},"\u002Fwissen\u002Fnis2-ki-geschaeftsfuehrerhaftung","\"NIS2 + KI: Geschäftsführerhaftung 2026\"",[46,589,590,591,595],{},"Wenn Sie speziell als Steuerberater einsteigen: ",[569,592,594],{"href":593},"\u002Fwissen\u002Fki-fuer-steuerberater","\"KI in der Steuerkanzlei: Praxis-Guide 2026\""," (in Vorbereitung).",[11,597,598,599],{},"Wer das Thema lieber direkt durchsprechen möchte, ruft an: ",[15,600,601],{},"Direkt mit Nico Meyer, werktags 9–18 Uhr, ohne Verkaufsgespräch.",{"title":603,"searchDepth":604,"depth":604,"links":605},"",2,[606,607,613,617,618,623,624,625,626,627,628,629,630],{"id":33,"depth":604,"text":34},{"id":88,"depth":604,"text":89,"children":608},[609,611,612],{"id":96,"depth":610,"text":97},3,{"id":106,"depth":610,"text":107},{"id":120,"depth":610,"text":121},{"id":134,"depth":604,"text":135,"children":614},[615,616],{"id":141,"depth":610,"text":142},{"id":155,"depth":610,"text":156},{"id":173,"depth":604,"text":174},{"id":219,"depth":604,"text":220,"children":619},[620,621,622],{"id":223,"depth":610,"text":224},{"id":233,"depth":610,"text":234},{"id":247,"depth":610,"text":248},{"id":254,"depth":604,"text":255},{"id":307,"depth":604,"text":308},{"id":359,"depth":604,"text":360},{"id":413,"depth":604,"text":414},{"id":452,"depth":604,"text":453},{"id":492,"depth":604,"text":493},{"id":532,"depth":604,"text":533},{"id":557,"depth":604,"text":558},null,"2026-05-09","2026-05-05","Wie mittelständische Unternehmen Künstliche Intelligenz produktiv einführen, ohne sensible Daten an US-Provider zu verlieren – DSGVO, NIS2 und Mandantengeheimnis konform.",false,"md",[638,641,644,647,650,653,656,659],{"label":639,"content":640},"Was unterscheidet Private KI von ChatGPT Enterprise oder Microsoft Copilot?","Private KI bezeichnet eine KI-Plattform, die ausschließlich auf Infrastruktur betrieben wird, die das Unternehmen selbst kontrolliert – on-prem, in einer souveränen EU-Cloud oder hybrid. ChatGPT Enterprise und Microsoft Copilot sind Auftragsverarbeitungen über US-Konzerne; Daten verlassen das Unternehmen, auch wenn vertraglich Zusicherungen bestehen. Für Branchen mit Mandantengeheimnis oder NIS2-Pflichten ist das oft nicht ausreichend.",{"label":642,"content":643},"Brauche ich für eine Private KI ein eigenes Rechenzentrum?","Nein. Drei Hosting-Modelle sind sinnvoll: On-Premise im eigenen Rechenzentrum (höchste Kontrolle), in einer souveränen EU-Cloud (z. B. STACKIT, IONOS, Open Telekom Cloud) oder hybrid (Inferenz on-prem, Vektorindex EU-Cloud). Welches Modell passt, hängt von der Sensibilität der Daten, der vorhandenen IT-Infrastruktur und der Skalierungserwartung ab.",{"label":645,"content":646},"Wie lange dauert eine Private-KI-Einführung im Mittelstand?","Mit einem definierten Pilot-Modell läuft die erste produktive Private-KI-Plattform nach 30 Tagen. Woche 1 Scope, Woche 2 Setup und Datenanbindung, Woche 3 Pilot mit 5–15 Nutzenden, Woche 4 Übergabe in den Betrieb. Skalierung auf weitere Datenquellen passiert anschließend in monatlichen Iterationen.",{"label":648,"content":649},"Welche Datenschutz-Anforderungen muss eine Private KI erfüllen?","DSGVO-konforme Auftragsverarbeitung mit allen Sub-Providern, Eintrag im Verzeichnis von Verarbeitungstätigkeiten (Art. 30), Datenschutz-Folgenabschätzung bei sensiblen Daten (Art. 35), revisionssicheres Audit-Log (mindestens 12 Monate, NIS2-relevant), dokumentiertes Rollen- und Rechte-Konzept und eine schriftliche KI-Richtlinie für Mitarbeitende.",{"label":651,"content":652},"Halluziniert eine Private KI weniger als ChatGPT?","Halluzinationen sind ein Eigenschaft des Sprachmodells, nicht des Hostings. Eine Private-KI-Plattform reduziert Halluzinationen aber strukturell durch Retrieval-Augmented Generation (RAG): Antworten basieren auf Textauszügen aus eigenen Dokumenten, jede Antwort enthält Quellenangabe (Datei, Seite, Datum). Wo keine Quelle gefunden wird, soll das System dies sagen statt zu raten.",{"label":654,"content":655},"Wie geht eine Private KI mit Mitarbeitern um, die unterschiedliche Berechtigungen haben?","Über ein Rollen- und Rechte-Modell auf Dokumentenebene. Ein Praktikant darf keine Vorstandsverträge sehen, ein Mandanten-Sachbearbeiter keine Akten anderer Mandanten. Konkret: Jedes Dokument erhält ACLs (Access Control Lists) aus dem Quellsystem (SharePoint, DMS, Dateifreigabe), die in die Vektordatenbank übernommen und bei jeder Anfrage berücksichtigt werden.",{"label":657,"content":658},"Was passiert, wenn wir die Private KI später wechseln oder abschalten wollen?","Anders als bei ChatGPT Enterprise oder Copilot besitzen Sie sämtliche Daten, Modelle und Konfigurationen selbst – inklusive der Vektorindizes. Ein Wechsel der LLM-Plattform (z. B. von Llama auf Mistral) ist eine technische Migration ohne Vertrags-Lock-in. Eine Abschaltung verbleibt bei Ihnen ohne Datenrückforderung von Dritten.",{"label":660,"content":661},"Lohnt sich Private KI auch für 30 Mitarbeitende oder erst ab 200?","Sinnvoll wird Private KI ab etwa 10 aktiven Nutzenden, sobald regelmäßig sensible Daten verarbeitet werden oder eine Schatten-KI-Nutzung absehbar ist. Untergrenze wirtschaftlich: ca. 30 Mitarbeitende. Im Bereich 30–500 MA liegt der Schwerpunkt unserer Kunden – darüber sind die Anforderungen ähnlich, aber die IT-Strukturen meist eigenständig.","pillar",{},true,"\u002Fwissen\u002Fprivate-ki-leitfaden","sicherheit","18","private-ki",{"title":5,"description":634},"wissen\u002Fprivate-ki-leitfaden",[668,672,673,223,674,675,676],"dsgvo","nis2","schatten-ki","rag","mittelstand","z5Huv2AvyOMzVPP13SwqL_7dl0AkccG1EuvAjtN3wZ8",{"id":679,"title":680,"bioShort":681,"body":682,"company":818,"companyUrl":819,"description":820,"extension":636,"hasOccupation":821,"isGuest":635,"jobTitle":822,"knowsAbout":823,"meta":835,"name":680,"navigation":664,"path":836,"photo":837,"publications":838,"sameAs":843,"seo":844,"slug":6,"stem":845,"__hash__":846},"autoren\u002Fautoren\u002Fnico-meyer.md","Nico Meyer","Gründer von Code15. Baut seit 10+ Jahren Software für den Mittelstand – heute mit Fokus auf Private KI, RAG-Systeme und sichere KI-Einführung in regulierten Branchen.",{"type":8,"value":683,"toc":811},[684,691,695,698,702,705,712,716,742,746,764,768],[11,685,686,687,690],{},"Nico Meyer ist Gründer und Geschäftsführer der Code15 GmbH mit Sitz in Unstrut-Hainich, Thüringen. Er begleitet mittelständische Unternehmen seit über zehn Jahren bei der Konzeption, Entwicklung und dem Betrieb individueller Software-Systeme – seit 2024 mit klarem Schwerpunkt auf ",[15,688,689],{},"sicheren, internen KI-Plattformen"," für Branchen mit hohen Datenschutzanforderungen: Steuerkanzleien, Wirtschaftsprüfung, Anwaltskanzleien, Ingenieurbüros und produzierende Unternehmen.",[31,692,694],{"id":693},"werdegang","Werdegang",[11,696,697],{},"Nach Stationen als Fullstack Engineer in Produkt- und Beratungsumgebungen gründete Nico 2020 die Code15 GmbH. Schwerpunkte: Vue\u002FNuxt-basierte Web-Anwendungen, AWS-Architektur und Cost-Optimierung sowie – seit 2024 – produktionsreife KI-Systeme, die ausschließlich auf eigener Infrastruktur betrieben werden („Private KI\"). Code15 hat in dieser Zeit u. a. SUSS MicroTec, Agile Heroes und German Arrowheads bei Software- und Cloud-Vorhaben unterstützt und das eigene Private-KI-Programm mit definiertem 30-Tage-Go-Live entwickelt.",[31,699,701],{"id":700},"fokus-heute-private-ki-für-regulierte-branchen","Fokus heute: Private KI für regulierte Branchen",[11,703,704],{},"Die meisten KI-Tools, die heute in Unternehmen ankommen, lösen ein neues Problem aus: Sensible Daten landen unkontrolliert in US-Cloud-Diensten. 50 % der Mitarbeitenden nutzen laut Software AG bereits KI-Tools ohne Genehmigung; 38 % geben dabei sensible Daten ein. Die durchschnittliche Datenpanne kostet deutsche Unternehmen 3,87 Mio. €. Mit NIS2 (in Kraft seit 2024, Umsetzungsdruck 2026) haftet die Geschäftsführung im Zweifel persönlich.",[11,706,707,708,711],{},"Nicos Antwort darauf ist eine ",[15,709,710],{},"schlüsselfertige Private-KI-Plattform",": Chat plus Dokumentenwissen mit Quellenangabe, Rollen und Audit-Trail – betrieben on-prem, in EU-Cloud oder in der Kunden-Infrastruktur. Kein Datenabfluss, keine US-Provider-Abhängigkeit, keine Halluzinationen ohne Quellen. Liefermodell: definierter 30-Tage-Pilot mit klarem Scope statt offener Beratungsstunden.",[31,713,715],{"id":714},"schwerpunkte","Schwerpunkte",[43,717,718,724,730,736],{},[46,719,720,723],{},[15,721,722],{},"Architektur und Betrieb"," von Private-KI-Systemen (LLM-Auswahl, RAG-Pipeline, Vector-DBs, Audit-Logging)",[46,725,726,729],{},[15,727,728],{},"DSGVO- und NIS2-konforme Einführung"," von KI in Unternehmen mit Mandantengeheimnis und besonderen Sorgfaltspflichten",[46,731,732,735],{},[15,733,734],{},"KI-Workshops für Geschäftsführung und IT-Verantwortliche"," – Use-Case-Discovery, Risiko-Mapping, Richtlinien-Templates",[46,737,738,741],{},[15,739,740],{},"Modernisierung bestehender Web-Systeme"," (Vue 2 → 3 \u002F Nuxt 3, AWS-Kostenoptimierung)",[31,743,745],{"id":744},"standpunkt","Standpunkt",[747,748,749],"blockquote",{},[11,750,751,752,755,756,759,760,763],{},"„Künstliche Intelligenz im Mittelstand scheitert selten an der Technik. Sie scheitert daran, dass niemand klar definiert, ",[15,753,754],{},"welches Wissen"," das System sehen darf, ",[15,757,758],{},"wer"," Antworten freigibt und ",[15,761,762],{},"wo"," die Daten am Ende liegen. Private KI ist die Antwort auf alle drei Fragen.\"",[31,765,767],{"id":766},"kontakt","Kontakt",[43,769,770,781,790,801],{},[46,771,772,775,776,780],{},[15,773,774],{},"Telefon:"," ",[569,777,779],{"href":778},"tel:+491608405463","+49 160 8405463"," – werktags 9–18 Uhr, direkt mit Nico",[46,782,783,775,786],{},[15,784,785],{},"E-Mail:",[569,787,789],{"href":788},"mailto:info@code15.dev","info@code15.dev",[46,791,792,775,795],{},[15,793,794],{},"LinkedIn:",[569,796,800],{"href":797,"rel":798},"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Ffullstack-entwickler-nico-meyer",[799],"nofollow","fullstack-entwickler-nico-meyer",[46,802,803,775,806],{},[15,804,805],{},"GitHub:",[569,807,810],{"href":808,"rel":809},"https:\u002F\u002Fgithub.com\u002FIc3m4n34",[799],"Ic3m4n34",{"title":603,"searchDepth":604,"depth":604,"links":812},[813,814,815,816,817],{"id":693,"depth":604,"text":694},{"id":700,"depth":604,"text":701},{"id":714,"depth":604,"text":715},{"id":744,"depth":604,"text":745},{"id":766,"depth":604,"text":767},"Code15 GmbH","https:\u002F\u002Fcode15.dev","Nico Meyer ist Gründer und Geschäftsführer der Code15 GmbH mit Sitz in Unstrut-Hainich, Thüringen. Er begleitet mittelständische Unternehmen seit über zehn Jahren bei der Konzeption, Entwicklung und dem Betrieb individueller Software-Systeme – seit 2024 mit klarem Schwerpunkt auf sicheren, internen KI-Plattformen für Branchen mit hohen Datenschutzanforderungen: Steuerkanzleien, Wirtschaftsprüfung, Anwaltskanzleien, Ingenieurbüros und produzierende Unternehmen.","Software Engineer & KI-Berater","Geschäftsführer Code15 GmbH",[824,825,826,827,828,829,830,831,832,833,834],"Private KI","On-Premise LLM","Retrieval-Augmented Generation","DSGVO-konforme KI","NIS2-Compliance","KI-Workshops Mittelstand","Vue.js","Nuxt","TypeScript","AWS Cloud-Architektur","Vector-Datenbanken",{},"\u002Fautoren\u002Fnico-meyer","\u002Fteam\u002Fnico-meyer.webp",[839],{"title":840,"venue":841,"date":842},"Private KI im Mittelstand – ohne Datenabfluss nach außen","Antenne Thüringen","2026-04",[797,808],{"description":820},"autoren\u002Fnico-meyer","CA3_fRpzY7CdAJHl7InsCwksuCh8z13SWRnazliALy8",[848,1001,1089],{"id":849,"title":850,"author":6,"body":851,"cover":631,"coverAlt":631,"dateModified":632,"datePublished":989,"description":990,"draft":635,"extension":636,"faqItems":631,"format":991,"meta":992,"navigation":664,"path":993,"pillar":666,"readMinutes":994,"relatedServiceSlug":668,"relatedVariantSlug":631,"seo":995,"speakable":664,"stem":996,"tags":997,"__hash__":1000},"wissen\u002Fwissen\u002Fglossar-on-prem-llm.md","On-Prem-LLM",{"type":8,"value":852,"toc":980},[853,864,868,888,892,895,899,919,923,943,947,950,954,969,973],[11,854,855,856,858,859,863],{},"Ein ",[15,857,850],{}," (englisch ",[860,861,862],"em",{},"on-premises Large Language Model",") ist ein Sprachmodell, das auf Hardware betrieben wird, die das Unternehmen selbst besitzt und kontrolliert – meist im eigenen Rechenzentrum oder in einem dedizierten Serverraum. Daten verlassen die Hardware-Umgebung nie; bei air-gapped Setups gibt es keine Internetverbindung.",[31,865,867],{"id":866},"wann-sich-on-prem-lohnt","Wann sich On-Prem lohnt",[43,869,870,876,882],{},[46,871,872,875],{},[15,873,874],{},"Hochsensible Daten"," (Mandantengeheimnis, Verteidigung, Pharma-FuE), bei denen selbst eine EU-Cloud zu viel Drittparteien-Beteiligung darstellt.",[46,877,878,881],{},[15,879,880],{},"Bestehende Operations-Reife"," in der eigenen IT für GPU-Hardware, Modell-Updates und Lastspitzen.",[46,883,884,887],{},[15,885,886],{},"Größenordnung ab 50–150 aktive Nutzende",", ab der Hardware-Investition gegen mehrjährige Cloud-Kosten konkurriert.",[31,889,891],{"id":890},"hardware-anforderungen-2026","Hardware-Anforderungen 2026",[11,893,894],{},"Die meisten Mittelstands-Use-Cases lassen sich mit 7B–17B-Open-Source-Modellen (Llama 4 Scout, Mistral, Qwen 3) auf einer einzelnen GPU mit 24–80 GB VRAM realisieren. Größere Modelle (Llama 4 Maverick 400B, DeepSeek-V3) benötigen mehrere GPUs der H100-Klasse. Die Investition reicht je nach Modellgröße und Skalierung von ca. 30.000 € bis 80.000 € einmalig für 50–150 aktive Nutzende; größere Setups liegen darüber.",[31,896,898],{"id":897},"vorteile-gegenüber-eu-cloud","Vorteile gegenüber EU-Cloud",[43,900,901,907,913],{},[46,902,903,906],{},[15,904,905],{},"Volle Hoheit"," über Daten, Konfigurationen und Modelle.",[46,908,909,912],{},[15,910,911],{},"Keine laufende Cloud-Rechnung",", dafür Hardware-Investition und Strom\u002FKühlung.",[46,914,915,918],{},[15,916,917],{},"Air-Gap möglich"," für regulatorisch besonders sensible Setups.",[31,920,922],{"id":921},"nachteile-und-risiken","Nachteile und Risiken",[43,924,925,931,937],{},[46,926,927,930],{},[15,928,929],{},"Operations-Aufwand:"," GPU-Treiber, Modell-Updates, Backup, Capacity-Planung erfordern reife IT-Funktionen oder einen Managed-Service-Partner.",[46,932,933,936],{},[15,934,935],{},"Eingeschränkte Skalierungs-Geschwindigkeit:"," Lastspitzen lassen sich nicht binnen Stunden abfangen.",[46,938,939,942],{},[15,940,941],{},"Modell-Auswahl beschränkt"," auf Open-Source und einige kommerzielle Modelle, die On-Prem-Lizenzen anbieten.",[31,944,946],{"id":945},"abgrenzung-zu-hybridem-setup","Abgrenzung zu hybridem Setup",[11,948,949],{},"In hybriden Architekturen läuft die Inferenz on-prem (sensible Daten verlassen das Unternehmen nie), während Vektorindex und Anwendungs-Backbone in der EU-Cloud betrieben werden. Diese Variante kombiniert die Datenkontrolle on-prem mit der Skalierungs-Bequemlichkeit der Cloud.",[31,951,953],{"id":952},"verwandte-begriffe","Verwandte Begriffe",[43,955,956,962],{},[46,957,958,961],{},[569,959,824],{"href":960},"\u002Fwissen\u002Fglossar-private-ki"," – die übergeordnete Konzeption.",[46,963,964,968],{},[569,965,967],{"href":966},"\u002Fwissen\u002Fglossar-rag","RAG"," – Architektur, die ein On-Prem-LLM für wissensbasierte Antworten erweitert.",[31,970,972],{"id":971},"vertiefung","Vertiefung",[11,974,975,976,573],{},"Hosting-Modell-Vergleich im Detail: ",[569,977,979],{"href":978},"\u002Fwissen\u002Fprivate-ki-leitfaden#hosting-modelle-im-detail","„Private KI für den Mittelstand: Der Leitfaden 2026\"",{"title":603,"searchDepth":604,"depth":604,"links":981},[982,983,984,985,986,987,988],{"id":866,"depth":604,"text":867},{"id":890,"depth":604,"text":891},{"id":897,"depth":604,"text":898},{"id":921,"depth":604,"text":922},{"id":945,"depth":604,"text":946},{"id":952,"depth":604,"text":953},{"id":971,"depth":604,"text":972},"2026-05-06","Definition: On-Prem-LLM bezeichnet ein Sprachmodell, das auf Hardware betrieben wird, die das Unternehmen selbst kontrolliert – meist im eigenen Rechenzentrum, optional ohne Internetverbindung.","glossar",{},"\u002Fwissen\u002Fglossar-on-prem-llm","3",{"title":850,"description":990},"wissen\u002Fglossar-on-prem-llm",[998,223,999,991,668,676],"on-prem-llm","llm","HxKnmjUCHRcqpMloF0WZQ9quo8P0cia5nUjSr05aWtk",{"id":1002,"title":824,"author":6,"body":1003,"cover":631,"coverAlt":631,"dateModified":989,"datePublished":989,"description":1082,"draft":635,"extension":636,"faqItems":631,"format":991,"meta":1083,"navigation":664,"path":960,"pillar":666,"readMinutes":994,"relatedServiceSlug":668,"relatedVariantSlug":631,"seo":1084,"speakable":664,"stem":1085,"tags":1086,"__hash__":1088},"wissen\u002Fwissen\u002Fglossar-private-ki.md",{"type":8,"value":1004,"toc":1075},[1005,1010,1014,1032,1036,1039,1043,1046,1048,1068,1070],[11,1006,1007,1009],{},[15,1008,824],{}," bezeichnet eine KI-Plattform, deren Betrieb in einer Infrastruktur erfolgt, die das Unternehmen selbst kontrolliert. Daten verlassen die Organisation während Verarbeitung und Speicherung nicht.",[31,1011,1013],{"id":1012},"drei-hosting-varianten","Drei Hosting-Varianten",[43,1015,1016,1021,1027],{},[46,1017,1018,1020],{},[15,1019,50],{}," im eigenen Rechenzentrum, optional ohne Internetverbindung (air-gapped). Höchste Kontrolle, höchster Aufwand.",[46,1022,1023,1026],{},[15,1024,1025],{},"Souveräne EU-Cloud:"," Hosting bei europäischen Anbietern (z. B. STACKIT, IONOS, Open Telekom Cloud). Kein US-Konzern in der Verarbeitungskette, kein Cloud-Act-Konflikt.",[46,1028,1029,1031],{},[15,1030,62],{}," Inferenz on-prem, Vektorindex und Anwendungs-Backbone in EU-Cloud. Balance aus Kontrolle und operativer Einfachheit.",[31,1033,1035],{"id":1034},"abgrenzung-zu-öffentlichen-ki-diensten","Abgrenzung zu öffentlichen KI-Diensten",[11,1037,1038],{},"Private KI ist keine Lizenz für ChatGPT Enterprise, Microsoft 365 Copilot oder Google Gemini Enterprise. Diese Dienste laufen auf Infrastruktur von US-Konzernen. Sie sind als Auftragsverarbeitung zulässig, aber für Branchen mit Mandantengeheimnis (Steuerberatung, Wirtschaftsprüfung, Anwaltschaft) oder NIS2-Pflichten ist die strukturelle Datenkontrolle einer Private KI oft erforderlich.",[31,1040,1042],{"id":1041},"typische-bestandteile","Typische Bestandteile",[11,1044,1045],{},"Eine produktive Private-KI-Plattform setzt sich aus mindestens fünf Bausteinen zusammen: Sprachmodell (LLM), Vektordatenbank, Ingestion-Pipeline, Anwendungs-Layer mit Rollen- und Rechte-Modell, Betriebs-Layer mit Monitoring und Audit-Log.",[31,1047,953],{"id":952},[43,1049,1050,1056,1063],{},[46,1051,1052,1055],{},[569,1053,1054],{"href":966},"RAG (Retrieval-Augmented Generation)"," – die Architektur hinter wissensbasierten KI-Antworten.",[46,1057,1058,1062],{},[569,1059,1061],{"href":1060},"\u002Fwissen\u002Fglossar-schatten-ki","Schatten-KI"," – das Problem, das Private KI strukturell löst.",[46,1064,1065,1067],{},[569,1066,850],{"href":993}," – die Hardware-Variante einer Private KI.",[31,1069,972],{"id":971},[11,1071,1072,1073,573],{},"Detaillierter Leitfaden mit Architektur, DSGVO\u002FNIS2 und 30-Tage-Pilot-Modell: ",[569,1074,979],{"href":665},{"title":603,"searchDepth":604,"depth":604,"links":1076},[1077,1078,1079,1080,1081],{"id":1012,"depth":604,"text":1013},{"id":1034,"depth":604,"text":1035},{"id":1041,"depth":604,"text":1042},{"id":952,"depth":604,"text":953},{"id":971,"depth":604,"text":972},"Definition: Private KI bezeichnet eine KI-Plattform, die ausschließlich auf vom Unternehmen kontrollierter Infrastruktur betrieben wird – on-prem, in souveräner EU-Cloud oder hybrid – und Daten nicht an US-Provider weitergibt.",{},{"title":824,"description":1082},"wissen\u002Fglossar-private-ki",[668,991,672,223,1087],"eu-cloud","idO8StEPZFshAkIWq3HYbuhV7TDfyq7QpTuZnynx_2U",{"id":1090,"title":1054,"author":6,"body":1091,"cover":631,"coverAlt":631,"dateModified":989,"datePublished":989,"description":1201,"draft":635,"extension":636,"faqItems":631,"format":991,"meta":1202,"navigation":664,"path":966,"pillar":666,"readMinutes":994,"relatedServiceSlug":668,"relatedVariantSlug":631,"seo":1203,"speakable":664,"stem":1204,"tags":1205,"__hash__":1208},"wissen\u002Fwissen\u002Fglossar-rag.md",{"type":8,"value":1092,"toc":1193},[1093,1098,1102,1128,1132,1135,1139,1163,1167,1170,1172,1184,1186],[11,1094,1095,1097],{},[15,1096,166],{}," ist die Architektur hinter wissensbasierten KI-Assistenten 2026. Sie verbindet ein Sprachmodell (LLM) mit einer Suche in vorab indexierten Dokumenten und ermöglicht Antworten mit klarer Quellenangabe.",[31,1099,1101],{"id":1100},"funktionsprinzip-in-vier-schritten","Funktionsprinzip in vier Schritten",[179,1103,1104,1110,1116,1122],{},[46,1105,1106,1109],{},[15,1107,1108],{},"Frage in Vektor übersetzen."," Ein Embedding-Modell verwandelt die Frage in einen mathematischen Vektor, der den Sinn (nicht die Wörter) abbildet.",[46,1111,1112,1115],{},[15,1113,1114],{},"Passende Textstellen suchen."," In einer Vektordatenbank werden die ähnlichsten Chunks aus den eigenen Dokumenten abgerufen, inklusive Quell-Metadaten und Permissions.",[46,1117,1118,1121],{},[15,1119,1120],{},"Kontext + Frage an das LLM."," Das Modell bekommt die Anweisung, ausschließlich auf Basis der gelieferten Textstellen zu antworten und die Quelle zu zitieren.",[46,1123,1124,1127],{},[15,1125,1126],{},"Antwort mit Quellenangabe."," Mitarbeitende sehen die Antwort plus den Verweis auf Datei, Seite und Datum – idealerweise klickbar zum Original.",[31,1129,1131],{"id":1130},"warum-rag-halluzinationen-reduziert","Warum RAG Halluzinationen reduziert",[11,1133,1134],{},"Ein klassisches Sprachmodell „rät\" aus seinem Trainingswissen. Ein RAG-System wird angewiesen, sich an die mitgelieferten Quellen zu halten und „Ich weiß es nicht\" zu sagen, wenn nichts Passendes gefunden wurde. Das eliminiert Halluzinationen nicht vollständig, reduziert sie aber strukturell.",[31,1136,1138],{"id":1137},"wichtige-bestandteile","Wichtige Bestandteile",[43,1140,1141,1147,1152,1157],{},[46,1142,1143,1146],{},[15,1144,1145],{},"Embedding-Modell:"," wandelt Fragen und Dokumenten-Chunks in Vektoren um.",[46,1148,1149,1151],{},[15,1150,191],{}," speichert die Chunk-Vektoren mit Metadaten (Qdrant, Weaviate, pgvector sind 2026 Standard).",[46,1153,1154,1156],{},[15,1155,197],{}," zerlegt Dokumente in semantisch sinnvolle Chunks, übernimmt Permissions aus Quellsystemen, hält Updates inkrementell.",[46,1158,1159,1162],{},[15,1160,1161],{},"Sprachmodell mit klarer Anweisung:"," generiert die endgültige Antwort.",[31,1164,1166],{"id":1165},"häufige-implementierungs-fehler","Häufige Implementierungs-Fehler",[11,1168,1169],{},"Naives Chunking auf fester Wortzahl, fehlende Permissions, keine inkrementellen Updates und keine Evaluation – die vier Stolpersteine, an denen schwache RAG-Setups 2026 erkennbar sind.",[31,1171,953],{"id":952},[43,1173,1174,1179],{},[46,1175,1176,1178],{},[569,1177,824],{"href":960}," – die Plattform, in der RAG meistens läuft.",[46,1180,1181,1183],{},[569,1182,850],{"href":993}," – Sprachmodell-Variante für RAG.",[31,1185,972],{"id":971},[11,1187,1188,1189,573],{},"Schritt-für-Schritt-Erklärung mit Beispiel: ",[569,1190,1192],{"href":1191},"\u002Fwissen\u002Frag-einfach-erklaert","„RAG einfach erklärt: Wie KI mit Ihren eigenen Daten arbeitet\"",{"title":603,"searchDepth":604,"depth":604,"links":1194},[1195,1196,1197,1198,1199,1200],{"id":1100,"depth":604,"text":1101},{"id":1130,"depth":604,"text":1131},{"id":1137,"depth":604,"text":1138},{"id":1165,"depth":604,"text":1166},{"id":952,"depth":604,"text":953},{"id":971,"depth":604,"text":972},"Definition: RAG kombiniert ein Sprachmodell mit einer Suche in eigenen Dokumenten. Statt aus Trainingswissen zu raten, antwortet das Modell auf Basis abgerufener Textstellen mit Quellenangabe.",{},{"title":1054,"description":1201},"wissen\u002Fglossar-rag",[675,1206,991,1207,668],"retrieval-augmented-generation","vektordatenbank","fpLC3mtmle5j4J0F-frjjASP4AwmHQN_gnNy1kTBaH8",1778412787340]