Was ist RAG (Retrieval-Augmented Generation)?

Retrieval-Augmented Generation (RAG) ist die Architektur hinter wissensbasierten KI-Assistenten 2026. Sie verbindet ein Sprachmodell (LLM) mit einer Suche in vorab indexierten Dokumenten und ermöglicht Antworten mit klarer Quellenangabe.

Funktionsprinzip in vier Schritten

1. Frage in Vektor übersetzen. Ein Embedding-Modell verwandelt die Frage in einen mathematischen Vektor, der den Sinn (nicht die Wörter) abbildet.
2. Passende Textstellen suchen. In einer Vektordatenbank werden die ähnlichsten Chunks aus den eigenen Dokumenten abgerufen, inklusive Quell-Metadaten und Permissions.
3. Kontext + Frage an das LLM. Das Modell bekommt die Anweisung, ausschließlich auf Basis der gelieferten Textstellen zu antworten und die Quelle zu zitieren.
4. Antwort mit Quellenangabe. Mitarbeitende sehen die Antwort plus den Verweis auf Datei, Seite und Datum – idealerweise klickbar zum Original.

Warum RAG Halluzinationen reduziert

Ein klassisches Sprachmodell „rät" aus seinem Trainingswissen. Ein RAG-System wird angewiesen, sich an die mitgelieferten Quellen zu halten und „Ich weiß es nicht" zu sagen, wenn nichts Passendes gefunden wurde. Das eliminiert Halluzinationen nicht vollständig, reduziert sie aber strukturell.

Wichtige Bestandteile

• Embedding-Modell: wandelt Fragen und Dokumenten-Chunks in Vektoren um.
• Vektordatenbank: speichert die Chunk-Vektoren mit Metadaten (Qdrant, Weaviate, pgvector sind 2026 Standard).
• Ingestion-Pipeline: zerlegt Dokumente in semantisch sinnvolle Chunks, übernimmt Permissions aus Quellsystemen, hält Updates inkrementell.
• Sprachmodell mit klarer Anweisung: generiert die endgültige Antwort.

Häufige Implementierungs-Fehler

Naives Chunking auf fester Wortzahl, fehlende Permissions, keine inkrementellen Updates und keine Evaluation – die vier Stolpersteine, an denen schwache RAG-Setups 2026 erkennbar sind.

Verwandte Begriffe

• Private KI – die Plattform, in der RAG meistens läuft.
• On-Prem-LLM – Sprachmodell-Variante für RAG.

Vertiefung

Schritt-für-Schritt-Erklärung mit Beispiel: „RAG einfach erklärt: Wie KI mit Ihren eigenen Daten arbeitet".