KI auf eigenen Dokumenten: so funktioniert RAG, und so bleibt es sicher
Kurz gesagt
RAG (Retrieval-Augmented Generation) lässt ein Sprachmodell auf Basis Ihrer eigenen Dokumente antworten: Bei jeder Frage sucht das System zuerst die passenden Textstellen und gibt sie dem Modell mit. So erhalten Sie Antworten mit Quellenangabe, ohne das Modell neu zu trainieren. Das größte Risiko ist nicht das Modell, sondern die Rechte: Die KI darf nur Dokumente nutzen, auf die die fragende Person selbst Zugriff hat.
Wie funktioniert RAG?
Ein Sprachmodell weiß nichts über Ihre Organisation. Es kennt Ihre Verträge, Richtlinien und Akten nicht. RAG löst das ohne erneutes Training, in drei Schritten:
- Indizieren. Dokumente werden in Abschnitte zerlegt und in Embeddings umgewandelt: Zahlenreihen, die die Bedeutung erfassen. Diese landen in einer Vektordatenbank.
- Abrufen. Bei einer Frage sucht das System die inhaltlich passendsten Abschnitte.
- Generieren. Das Modell erhält Frage und Fundstellen und formuliert eine Antwort mit Quellenverweis.
Der Vorteil: Neue oder geänderte Dokumente sind sofort nutzbar, und Beschäftigte können prüfen, woher eine Antwort stammt.
Wo RAG in Organisationen Nutzen stiftet
- Fragen aus Richtlinien, Verfahren und Handbüchern beantworten;
- den Service Desk mit Antworten aus früheren Tickets und Wissensartikeln unterstützen;
- in einer umfangreichen Akte die relevanten Stellen finden und zusammenfassen;
- Klauseln mit eigenen Musterverträgen vergleichen;
- Leitlinien und SOPs im Gesundheitswesen durchsuchen.
Wo es schiefgeht: vier Risiken
1. Rechte werden umgangen. Die Vektordatenbank enthält Abschnitte aus allen indizierten Dokumenten. Ohne Kontrolle kann jemand über die KI Informationen aus einer Personalakte oder einer Vorstandsvorlage erhalten, auf die er selbst keinen Zugriff hat. Das ist das wichtigste Risiko; OWASP nennt Schwächen in Vektor- und Embedding-Speichern ausdrücklich in seinen Top 10 für LLM-Anwendungen.
2. Der Index ist eine Kopie Ihrer sensiblen Daten. Embeddings und Abschnitte sind eine neue Datensammlung, oft außerhalb der ursprünglichen Absicherung. Liegt der Index bei einem externen Dienst, liegt dort auch eine Kopie Ihrer Dokumente.
3. Veraltete Informationen. Wird ein Dokument zurückgezogen, aber nicht aus dem Index entfernt, nutzt die KI es weiter.
4. Überzeugende, aber falsche Antworten. Auch mit Quellen kann ein Modell falsch zusammenfassen. Quellenangaben ermöglichen die Kontrolle, ersetzen sie aber nicht.
So setzen Sie RAG sicher auf
- Rechtebewusstes Abrufen: Übernehmen Sie die Zugriffsrechte aus dem Quellsystem und filtern Sie bei jeder Frage nach dem, was diese Person sehen darf.
- Index und Modell in Ihrer Umgebung, damit keine Kopie Ihrer Dokumente bei einem Dritten liegt. Siehe Ein eigener LLM-Server on-premise.
- Synchronisierung mit dem Quellsystem, damit gelöschte oder geänderte Dokumente auch aus dem Index verschwinden.
- Quellenangabe verpflichtend in jeder Antwort, und menschliche Kontrolle bei Entscheidungen.
- Protokollierung: Welche Quelle wurde bei welcher Frage von wem genutzt.
werqly betreibt die Modelle und die Anbindung an Ihre Quellen auf einem eigenen Node. In werqly AI Control bestimmen Sie pro Rolle, welche Quellen ein Team über die KI durchsuchen darf, und das Audit-Log hält fest, welche Quelle bei welcher Antwort genutzt wurde. Die Automatisierungen darauf folgen meist aus dem TIMA Scan. Siehe auch Was ist private KI?
Häufige Fragen
Fragen zu diesem Thema
Was ist der Unterschied zwischen RAG und dem Training eines Modells mit eigenen Daten?
Bei RAG bleibt das Modell unverändert; es erhält bei jeder Frage die passenden Abschnitte. Beim Training oder Fine-Tuning wird Wissen in das Modell selbst eingearbeitet. RAG lässt sich schneller aktualisieren, liefert Quellenangaben und kann Rechte pro Person berücksichtigen.
Funktioniert RAG mit Open-Weight-Modellen?
Ja. RAG funktioniert mit jedem Sprachmodell, auch mit Open-Weight-Modellen wie Llama, Mistral und Qwen auf eigener Hardware. Auch Embedding-Modell und Vektordatenbank können lokal laufen, sodass die ganze Kette in Ihrer Umgebung bleibt.
Wie verhindere ich, dass Beschäftigte über die KI vertrauliche Dokumente sehen?
Indem beim Abrufen die Zugriffsrechte aus dem Quellsystem gelten: Die KI sucht nur in Dokumenten, die die fragende Person selbst öffnen darf. Testen Sie das ausdrücklich, etwa mit einem Testkonto ohne Zugriff auf einen Personalordner.
Ist ein RAG-Index eine Verarbeitung personenbezogener Daten?
Wenn die Dokumente personenbezogene Daten enthalten, ja. Der Index ist dann eine neue Sammlung personenbezogener Daten, mit eigenen Anforderungen an Sicherheit, Speicherdauer und Löschung. Nehmen Sie ihn in Ihr Verarbeitungsverzeichnis und, wo nötig, in die DSFA auf.
Quellen
- Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)
- OWASP — Top 10 for LLM Applications
- vLLM — Dokumentation
Dieser Beitrag ist eine allgemeine Information, keine Rechtsberatung. Regeln und Leitlinien ändern sich; prüfen Sie im Zweifel die genannten Quellen oder fragen Sie Ihre Rechtsabteilung oder Ihren Datenschutzbeauftragten.