AI op uw eigen documenten: zo werkt RAG, en zo blijft het veilig
Kort antwoord
RAG (retrieval-augmented generation) laat een taalmodel antwoorden op basis van uw eigen documenten: bij elke vraag zoekt het systeem eerst de relevante passages op en geeft die aan het model mee. Zo krijgt u antwoorden met bronverwijzing, zonder het model te hertrainen. Het grootste risico is niet het model, maar de rechten: de AI mag alleen documenten gebruiken waartoe de vragensteller zelf toegang heeft.
Hoe werkt RAG?
Een taalmodel weet niets van uw organisatie. Het kent uw contracten, protocollen en dossiers niet. RAG lost dat op zonder het model te hertrainen, in drie stappen:
- Indexeren. Documenten worden in stukken geknipt en omgezet in embeddings: getallenreeksen die de betekenis vastleggen. Die komen in een vectordatabase.
- Ophalen. Bij een vraag zoekt het systeem de passages die qua betekenis het best passen.
- Genereren. Het model krijgt de vraag en de gevonden passages, en formuleert een antwoord met verwijzing naar de bron.
Het voordeel: nieuwe of gewijzigde documenten zijn direct bruikbaar, en een medewerker kan controleren waar een antwoord vandaan komt.
Waar RAG in organisaties waarde toevoegt
- vragen beantwoorden uit beleid, procedures en handboeken;
- de servicedesk helpen met antwoorden uit eerdere tickets en kennisartikelen;
- in een groot dossier de relevante passages vinden en samenvatten;
- clausules vergelijken met eigen modelcontracten;
- protocollen en richtlijnen doorzoeken in de zorg.
Waar het misgaat: vier risico’s
1. Rechten worden omzeild. De vectordatabase bevat stukken uit alle geïndexeerde documenten. Zonder controle kan een medewerker via de AI informatie krijgen uit een HR-dossier of een directiestuk waar hij zelf geen toegang toe heeft. Dit is het belangrijkste risico, en OWASP noemt zwakheden in vector- en embeddingopslag expliciet in zijn top 10 voor LLM-toepassingen.
2. De index is een kopie van uw gevoelige data. Embeddings en passages zijn een nieuwe verzameling gegevens, vaak buiten de oorspronkelijke beveiliging. Staat die index bij een externe dienst, dan staat daar ook een kopie van uw documenten.
3. Verouderde informatie. Wordt een document ingetrokken maar niet uit de index verwijderd, dan blijft de AI het gebruiken.
4. Geloofwaardige maar onjuiste antwoorden. Ook met bronnen kan een model verkeerd samenvatten. Bronverwijzingen maken controle mogelijk, maar vervangen hem niet.
Zo richt u RAG veilig in
- Rechtenbewust ophalen: neem de toegangsrechten uit het bronsysteem mee en filter bij elke vraag op wat deze gebruiker mag zien.
- Index en model binnen uw omgeving, zodat er geen kopie van uw documenten bij een derde staat. Zie Een eigen LLM-server on-premise.
- Synchronisatie met het bronsysteem, zodat verwijderde of gewijzigde documenten ook uit de index verdwijnen.
- Bronverwijzing verplicht in elk antwoord, en menselijke controle bij beslissingen.
- Logging: welke bron is bij welke vraag gebruikt, door wie.
werqly draait de modellen én de koppelingen met uw bronnen op een eigen node. In werqly AI Control bepaalt u per rol welke bronnen een team via de AI mag doorzoeken, en de audit log legt vast welke bron bij welk antwoord is gebruikt. De automatiseringen die daarop draaien, volgen meestal uit de TIMA Scan. Zie ook Wat is private AI?
Veelgestelde vragen
Vragen over dit onderwerp
Wat is het verschil tussen RAG en een model trainen op eigen data?
Bij RAG blijft het model ongewijzigd; het krijgt bij elke vraag de relevante passages mee. Bij trainen of fine-tunen wordt kennis in het model zelf verwerkt. RAG is sneller bij te werken, geeft bronverwijzingen en maakt het mogelijk rechten per gebruiker te respecteren.
Kan RAG met open-weight modellen?
Ja. RAG werkt met elk taalmodel, ook met open-weight modellen als Llama, Mistral en Qwen op eigen hardware. Ook het embeddingmodel en de vectordatabase kunnen lokaal draaien, zodat de hele keten binnen uw omgeving blijft.
Hoe voorkom ik dat medewerkers via de AI vertrouwelijke documenten zien?
Door bij het ophalen de toegangsrechten uit het bronsysteem te respecteren: de AI zoekt alleen in documenten die de vragensteller zelf mag openen. Test dat expliciet, bijvoorbeeld met een testaccount zonder toegang tot een HR-map.
Is een RAG-index een persoonsgegevensverwerking?
Als de documenten persoonsgegevens bevatten, ja. De index is dan een nieuwe verzameling persoonsgegevens, met eigen eisen aan beveiliging, bewaartermijn en verwijdering. Neem hem op in uw register en, waar nodig, in de DPIA.
Bronnen
- Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)
- OWASP — Top 10 for LLM Applications
- vLLM — documentatie
Dit artikel is algemene informatie, geen juridisch advies. Regels en richtsnoeren veranderen; controleer bij twijfel de genoemde bronnen of vraag uw jurist of FG.