Algoritmes toetsen op discriminatie: lessen voor gemeenten
Kort antwoord
Algoritmes discrimineren zelden opzettelijk. Het gebeurt via gegevens die samenhangen met afkomst, leeftijd of wijk, en via keuzes die niemand heeft vastgelegd. Toets daarom vooraf: welk doel, welke gegevens, welke groepen kunnen worden geraakt, en hoe controleert u de uitkomsten. Het IAMA helpt daarbij en is afgestemd op de grondrechtentoets die de AI Act vraagt bij hoog-risico-AI.
Wat er misging
- Rotterdam (2021). De Rekenkamer Rotterdam onderzocht het risicomodel dat bepaalde welke bijstandsontvangers werden heronderzocht. Conclusie: verantwoordelijkheid slecht belegd, ethische keuzes niet herleidbaar, en een reëel risico op vooringenomen uitkomsten.
- SyRI (2020). De rechtbank Den Haag oordeelde dat de wetgeving onder het risicosysteem SyRI in strijd was met artikel 8 EVRM, mede omdat onvoldoende inzichtelijk was hoe het werkte. Zie AI in het sociaal domein.
Het gemeenschappelijke patroon: niemand had vooraf vastgelegd welke gegevens mochten meewegen en hoe de uitkomsten per groep werden gecontroleerd.
Hoe discriminatie binnensluipt
| Mechanisme | Voorbeeld |
|---|---|
| Proxy’s | Postcode, taal of opleiding hangen samen met afkomst |
| Scheve historie | Het model leert van eerdere controles, die zelf al selectief waren |
| Terugkoppeling | Wie vaker wordt gecontroleerd, wordt vaker gevonden, en dus nog vaker gecontroleerd |
| Taal van taalmodellen | Een samenvatting of beoordeling die schrijfstijl beloont, benadeelt wie minder taalvaardig is |
Een praktische toets
- Doel en noodzaak. Wat moet het algoritme bereiken, en is er een minder ingrijpend alternatief?
- Gegevens. Welke kenmerken wegen mee, en welke kunnen als proxy werken voor beschermde kenmerken?
- Groepen. Wie kan worden geraakt, en hoe ziet u of een groep vaker een nadelige uitkomst krijgt?
- Menselijke beoordeling. Wie beoordeelt de uitkomst, met welke bevoegdheid om af te wijken?
- Controle achteraf. Hoe vaak meet u uitkomsten per groep, en wat gebeurt er als die scheef lopen?
- Openbaarheid. Publiceer impactvolle algoritmes in het Algoritmeregister. Zie Het Algoritmeregister.
Het Impact Assessment Mensenrechten en Algoritmes (IAMA) werkt deze vragen uit en is inmiddels afgestemd op de grondrechtentoets uit de AI Act. Zie De AI Act in 2026.
Wat werqly daaraan bijdraagt
werqly maakt een algoritme niet eerlijk. Het levert wel de feiten die u voor de toets en de controle achteraf nodig hebt: welk model, welke bronnen, welke rollen, en per gebruik wat er is verwerkt. Omdat alles op een eigen node draait, kunt u uitkomsten analyseren zonder gegevens van inwoners met een externe partij te delen. Zie AI voor gemeenten en overheid.
Veelgestelde vragen
Vragen over dit onderwerp
Hoe toetst een gemeente een algoritme op discriminatie?
Door vooraf doel, gegevens en mogelijk geraakte groepen vast te leggen, te beoordelen welke kenmerken als proxy kunnen werken, menselijke beoordeling in te richten en de uitkomsten per groep periodiek te meten. Het IAMA biedt daarvoor een uitgewerkte vragenlijst.
Wat is het IAMA?
Het Impact Assessment Mensenrechten en Algoritmes, in 2021 ontwikkeld door de Universiteit Utrecht in opdracht van Binnenlandse Zaken. Het is inmiddels bijgewerkt en afgestemd op artikel 27 van de AI Act, de grondrechtentoets bij hoog-risico-AI.
Wat leerde het Rotterdamse bijstandsalgoritme?
De Rekenkamer Rotterdam concludeerde in 2021 dat de verantwoordelijkheid voor het risicomodel slecht was belegd, dat ethische keuzes niet herleidbaar waren en dat het model tot vooringenomen uitkomsten kon leiden.
Kunnen taalmodellen ook discrimineren?
Ja, bijvoorbeeld door schrijfstijl te belonen boven inhoud, of door vooroordelen uit hun trainingsdata te herhalen. Laat taalmodellen daarom niet over personen oordelen, en controleer ook samenvattingen steekproefsgewijs op scheve weergave.
Bronnen
- Vereniging van Rekenkamers — Gekleurde technologie (Rekenkamer Rotterdam, 2021)
- Rijksoverheid — Impact Assessment Mensenrechten en Algoritmes
Dit artikel is algemene informatie, geen juridisch advies. Regels en richtsnoeren veranderen; controleer bij twijfel de genoemde bronnen of vraag uw jurist of FG.