AI in productie monitoren: wat een gemeente meet, bewaart en jaarlijks opnieuw beoordeelt
Kort antwoord
Een AI-toepassing verandert na de uitrol: het gebruik verschuift, de bronnen verouderen, een nieuw model komt beschikbaar. De AI Act vraagt gebruiksverantwoordelijken van hoog-risicosystemen de werking te monitoren, incidenten te melden en logs minstens zes maanden te bewaren. Voor elke toepassing, ook zonder hoog risico, is dezelfde aanpak verstandig: een handvol cijfers per maand, een meldpunt voor fouten, steekproeven op de uitvoer en een jaarlijkse herbeoordeling.
Wat de AI Act vraagt
Artikel 26 legt gebruiksverantwoordelijken van hoog-risico-AI verplichtingen op: gebruiken volgens de instructies van de aanbieder, menselijk toezicht door bevoegde mensen, de werking monitoren, de aanbieder en de toezichthouder informeren bij risico’s en incidenten, en de automatisch gegenereerde logs minstens zes maanden bewaren. Voor toepassingen buiten hoog risico is dit niet verplicht, maar het is wel wat een toezichthouder, de accountant en de raad verwachten als er iets misgaat. Zie DPIA, IAMA en grondrechtentoets voor de beoordeling vooraf; dit artikel gaat over daarna.
Wat u meet
| Cijfer | Wat het zegt | Bron |
|---|---|---|
| Gebruik per rol | Wie gebruikt het waarvoor; verschuivingen wijzen op nieuw gebruik dat niet is beoordeeld | Auditlog |
| Correctiegraad | Hoe vaak medewerkers de uitvoer aanpassen voor gebruik | Steekproef of bevestigingsstap |
| Bronverwijzing | Aandeel antwoorden met een geldige bron; daling betekent verouderde bronnen | Automatische controle |
| Meldingen | Aantal en aard van gemelde fouten, doorlooptijd tot afhandeling | Meldpunt |
| Uitkomsten per groep | Bij toepassingen die inwoners raken: verschillen tussen groepen | Periodieke analyse |
| Beschikbaarheid | Uitval en responstijd | Beheer |
Zie Algoritmes toetsen op discriminatie voor de uitkomsten per groep.
De routine
- Maandelijks een overzicht van de cijfers naar de eigenaar van de toepassing en de functionaris gegevensbescherming.
- Per kwartaal een steekproef van uitvoer, beoordeeld door vakmensen tegen de bron.
- Bij elke wijziging van model, bron of gebruik: een korte hertoets en een aantekening in het register.
- Jaarlijks een herbeoordeling: klopt de risicoclassificatie nog, zijn de maatregelen nog voldoende, is de toepassing nog nodig.
- Bij een incident een vaste route: melden, uitvoer bevriezen, oorzaak, melding aan aanbieder en toezichthouder als het hoog risico betreft, en terugkoppeling aan wie het raakte.
Zie Een AI-assistent uitrollen in de gemeente voor de uitrol die aan deze routine voorafgaat.
Hoe werqly hierin past
werqly AI Control levert het auditlog per rol, model en bron, met een bewaartermijn die u zelf instelt. Modelwisselingen zijn een expliciete keuze van de gemeente, niet een stille update van een aanbieder, zodat elke wijziging een moment voor een hertoets is. Zie AI voor gemeenten.
Veelgestelde vragen
Vragen over dit onderwerp
Hoe lang moeten AI-logs worden bewaard?
Voor hoog-risico-AI minstens zes maanden volgens artikel 26 van de AI Act, tenzij andere wetgeving langer voorschrijft. Voor andere toepassingen bepaalt u het zelf, in lijn met de Archiefwet en de AVG; in de praktijk is een jaar een werkbaar uitgangspunt.
Wat is een incident dat gemeld moet worden?
Bij hoog-risico-AI: een storing of gebeurtenis die leidt tot schade aan gezondheid, veiligheid of grondrechten. Voor elke toepassing is het verstandig een lagere drempel intern te hanteren: elke fout die een inwoner heeft geraakt wordt geregistreerd en teruggekoppeld.
Wie is eigenaar van de monitoring?
De eigenaar van de toepassing in de lijn, met de functionaris gegevensbescherming en de CISO als tegenlezers. Niet de leverancier en niet alleen IT: de vakafdeling weet wat een goede uitvoer is.
Wat als een nieuw model beschikbaar komt?
Behandel het als een wijziging: testen op dezelfde steekproef als het huidige model, verschillen vastleggen, hertoets, en dan pas overzetten. Een aanbieder die modellen stil vervangt, maakt dit onmogelijk.
Bronnen
- Artificialintelligenceact.eu — Artikel 26: verplichtingen van gebruiksverantwoordelijken
- Algoritmekader — Algoritmes.overheid.nl
Dit artikel is algemene informatie, geen juridisch advies. Regels en richtsnoeren veranderen; controleer bij twijfel de genoemde bronnen of vraag uw jurist of FG.