RAG

RAG steht für Retrieval-Augmented Generation. Das Verfahren verbindet die Generierung von Antworten durch ein Sprachmodell mit dem Abruf relevanter Informationen aus einer externen Wissensbasis.

Methodik und Funktionsweise

Eine Anfrage wird genutzt, um geeignete Dokumente oder Datenausschnitte zu finden. Der abgerufene Kontext wird dem Modell für die Antwort bereitgestellt. Suchindex, Dokumentaufbereitung, Berechtigungen und Quellenangaben beeinflussen die Qualität maßgeblich.

Abgrenzung und Grenzen

RAG garantiert weder vollständige Recherche noch korrekte Antworten. Relevante Informationen können bei der Suche fehlen; ein Modell kann den Kontext falsch interpretieren. Quellen sollten daher nachvollziehbar und Antworten für wichtige Anwendungsfälle überprüfbar sein.

Praxisbeispiel

Ein technischer Assistent kann passende Passagen aus freigegebenen Wartungsanleitungen abrufen und damit eine Frage zum Reparaturablauf beantworten.

Voraussetzungen und Hinweise

Besondere Aufmerksamkeit verdienen Dokumentversionen, Zugriffsrechte, Aktualisierung und Evaluation der Suchqualität. Vertrauliche Daten dürfen nicht allein durch die Formulierung eines Prompts geschützt werden.

Die drei grundlegenden Schritte von RAG

Retrieval-Augmented Generation verbindet Informationssuche und Textgenerierung. Zunächst werden zur Anfrage passende Inhalte aus einem Index oder einer anderen Quelle abgerufen. Anschließend werden diese Informationen als zusätzlicher Kontext an das Sprachmodell übergeben. Schließlich formuliert das Modell eine Antwort. Die Architektur ermöglicht es, Unternehmensdokumente zu nutzen, ohne das Grundmodell für jede neue Information erneut trainieren zu müssen. Ob eine Antwort korrekt ist, hängt dennoch davon ab, ob die richtigen Stellen gefunden und sachgerecht interpretiert werden. Deshalb müssen die Suchphase und die Generierungsphase getrennt bewertet werden.

Dokumentaufbereitung und Retrieval-Qualität

Für die Suche werden Dokumente häufig in kleinere Einheiten gegliedert und mit Metadaten versehen. Volltextsuche, Vektorsuche und hybride Verfahren können kombiniert werden. Entscheidend sind sinnvolle Abschnittsgrenzen, fachliche Begriffe und die Versionen der Inhalte. Werden beispielsweise alte und neue Richtlinien unterschiedslos indexiert, kann das Modell widersprüchliche Informationen erhalten. Auch Berechtigungen müssen bereits beim Abruf berücksichtigt werden, nicht erst in der späteren Antwort. Ein gutes Retrieval-System sollte relevante Passagen finden, ohne vertrauliche Dokumente außerhalb des Nutzerrechts sichtbar zu machen.

Verlässliche Antworten und Quellenangaben

Quellenverweise verbessern die Prüfbarkeit, garantieren aber nicht die Wahrheit einer Aussage. Das Modell kann eine Quelle falsch zusammenfassen oder Inhalte verschiedener Dokumente unzulässig verbinden. Für geschäftskritische Anwendungen sollten deshalb typische Fragen, bekannte Grenzfälle und bewusst widersprüchliche Dokumente getestet werden. Es ist sinnvoll, dem System zu erlauben, fehlende Informationen offenzulegen, statt eine scheinbar vollständige Antwort zu erzwingen. Auch die Frage, ob alle wichtigen Fundstellen berücksichtigt wurden, sollte bei der Evaluation geprüft werden. Ein reiner Test auf sprachliche Verständlichkeit wäre unzureichend.

Betrieb, Sicherheit und Kosten

Ein RAG-System benötigt Prozesse für Dokumentänderungen, Löschungen und die Aktualisierung des Suchindexes. Alte Inhalte dürfen nicht unbeabsichtigt weiter abrufbar bleiben. Bei der Einbindung fremder Dokumente sind manipulative Anweisungen als potenzielle Sicherheitsrisiken zu behandeln. Zusätzlich entstehen Betriebsaufwände für Indexierung, Suche, Sprachmodell und Überwachung. Unternehmen sollten daher konkrete Informationsbedarfe priorisieren, etwa eine interne Richtliniensuche oder technische Wissensunterstützung. Ob RAG sinnvoll ist, hängt davon ab, wie zuverlässig die erforderlichen Quellen bereitgestellt und geschützt werden können.

Häufige Fragen

Verhindert RAG Halluzinationen vollständig?

Nein. Es kann passende Quellen bereitstellen und Fehler reduzieren, aber unvollständige Suche und falsche Interpretation bleiben möglich.

Braucht RAG immer eine Vektordatenbank?

Nein. Je nach Anwendungsfall können auch Volltextsuche, hybride Suche und strukturierte Datenquellen verwendet werden.

Praktische Prüffragen

• Prüfen Sie die Qualität des Dokumentindexes und die fachliche Passung gefundener Abschnitte, bevor Antworten allein anhand ihres Sprachstils bewertet werden.
• Berücksichtigen Sie Dokumentversionen und Löschungen, damit veraltete Richtlinien nicht trotz neuer Freigaben weiterhin bevorzugt abgerufen werden.
• Setzen Sie Zugriffsrechte bereits während der Suche durch; ein nachträglicher Hinweis im generierten Text schützt vertrauliche Dokumente nicht zuverlässig.
• Testen Sie bewusst Fragen ohne ausreichende Quellen, um sicherzustellen, dass das System Unsicherheit benennt statt unbelegte Details zu erfinden.
• Dokumentieren Sie Retrieval-Fehler und falsche Quelleninterpretationen getrennt, damit Verbesserungen am Suchsystem nicht mit Modellanpassungen verwechselt werden.

Retrieval und Textgenerierung getrennt bewerten

Ein RAG-System umfasst zwei unterschiedliche Qualitätsfragen: Findet die Suche die richtigen Informationen und nutzt das Sprachmodell diese Informationen korrekt? Ein fehlerfreier Suchindex garantiert keine richtige Antwort, wenn das Modell Quellen falsch zusammenfasst. Umgekehrt kann das beste Modell fehlende Dokumente nicht zuverlässig ergänzen. Unternehmen sollten deshalb typische Fragen mit bekannten Antworten und Dokumentstellen testen. Besonders wichtig sind widersprüchliche Richtlinien, überholte Versionen und Fragen, zu denen im Datenbestand keine ausreichende Grundlage existiert. Ein kontrollierbares System sollte solche Grenzen erkennen lassen und gegebenenfalls auf eine fachliche Prüfung verweisen, anstatt unbelegte Aussagen als gesichert auszugeben.

Schutz von Wissen und Berechtigungen

Für eine unternehmensinterne Wissenssuche müssen Zugriffsrechte bereits beim Abruf der Dokumente angewendet werden. Es wäre unzureichend, zunächst alle Inhalte zu laden und das Sprachmodell lediglich anzuweisen, vertrauliche Passagen nicht preiszugeben. Auch die Indexierung benötigt Prozesse für Änderungen, Löschungen und neue Freigabestände. Werden externe Dokumente eingebunden, können darin manipulative Anweisungen stehen, die als nicht vertrauenswürdige Inhalte behandelt werden müssen. Für den Betrieb sind außerdem Kosten von Suche, Dokumentaufbereitung und Modellnutzung zu berücksichtigen. Eine einfache Fachsuche kann in manchen Fällen ohne Sprachmodell zuverlässiger sein. Die Architektur sollte deshalb zum Informationsbedarf passen.

Verwandte Wiki-Begriffe

Weiterführende Erklärungen: Graph RAG, Large Language Model, Enterprise Knowledge Graph.

Fachliche Quellen

Microsoft Learn – Retrieval-Augmented Generation. Die Beispiele beschreiben mögliche, nicht nachgewiesene Unternehmensanwendungen.