Tester les algorithmes contre les discriminations : leçons pour les administrations
En bref
Les algorithmes discriminent rarement volontairement. Cela passe par des données liées à l’origine, l’âge ou le quartier, et par des choix que personne n’a consignés. Vérifiez donc à l’avance : quelle finalité, quelles données, quels groupes peuvent être touchés et comment vous contrôlez les résultats. Pour l’IA à haut risque, l’AI Act impose une analyse d’impact sur les droits fondamentaux.
Ce qui a dérapé
- Rotterdam (2021). La chambre des comptes de Rotterdam a examiné le modèle de risque qui désignait les allocataires à réexaminer. Conclusion : responsabilités mal réparties, choix éthiques non traçables et risque réel de résultats biaisés.
- SyRI (2020). Le tribunal de La Haye a jugé que la législation encadrant le système de risque SyRI violait l’article 8 de la CEDH, notamment parce que son fonctionnement restait opaque. Voir L’IA dans l’action sociale.
Le point commun : personne n’avait fixé à l’avance quelles données pouvaient peser et comment contrôler les résultats par groupe. En France, le Défenseur des droits a lui aussi alerté sur le risque d’automatisation des discriminations.
Comment la discrimination s’installe
| Mécanisme | Exemple |
|---|---|
| Variables de substitution | Code postal, langue ou diplôme corrélés à l’origine |
| Historique biaisé | Le modèle apprend de contrôles passés déjà sélectifs |
| Boucle de rétroaction | Qui est plus contrôlé est plus souvent pris, donc encore plus contrôlé |
| Langage des modèles de langage | Une synthèse ou évaluation qui valorise la rédaction pénalise les moins à l’aise à l’écrit |
Une démarche concrète
- Finalité et nécessité. Que doit accomplir l’algorithme, et existe-t-il une alternative moins intrusive ?
- Données. Quelles caractéristiques pèsent, et lesquelles peuvent se substituer à des critères protégés ?
- Groupes. Qui peut être touché, et comment voyez-vous si un groupe obtient plus souvent un résultat défavorable ?
- Examen humain. Qui apprécie le résultat, avec quel pouvoir de s’en écarter ?
- Contrôle a posteriori. À quelle fréquence mesurez-vous les résultats par groupe, et que faites-vous en cas d’écart ?
- Transparence. Publiez les traitements à fort impact. Voir Registre des algorithmes.
La méthode néerlandaise IAMA détaille ces questions et est désormais alignée sur l’analyse d’impact sur les droits fondamentaux de l’AI Act. Voir L’AI Act en 2026.
Ce qu’apporte werqly
werqly ne rend pas un algorithme équitable. Il fournit en revanche les faits nécessaires à l’analyse et au contrôle : quel modèle, quelles sources, quels rôles, et pour chaque usage ce qui a été traité. Comme tout tourne sur un nœud dédié, vous pouvez analyser les résultats sans partager les données des habitants avec un tiers. Voir L’IA pour les collectivités.
Questions fréquentes
Questions sur ce sujet
Comment une administration teste-t-elle un algorithme contre les discriminations ?
En fixant à l’avance finalité, données et groupes potentiellement touchés, en identifiant les variables qui peuvent se substituer à des critères protégés, en organisant un examen humain et en mesurant régulièrement les résultats par groupe.
Qu’impose l’AI Act ?
Les organismes publics qui déploient une IA à haut risque doivent réaliser au préalable une analyse d’impact sur les droits fondamentaux (article 27). Les systèmes à haut risque doivent aussi répondre à des exigences de qualité des données et de prévention des biais.
Que retenir du modèle de Rotterdam ?
La chambre des comptes de Rotterdam a conclu en 2021 que la responsabilité du modèle de risque était mal répartie, que les choix éthiques n’étaient pas traçables et que le modèle pouvait produire des résultats biaisés.
Les modèles de langage peuvent-ils aussi discriminer ?
Oui, par exemple en valorisant la rédaction plutôt que le fond, ou en reproduisant des préjugés de leurs données d’entraînement. Ne les laissez pas juger des personnes, et vérifiez aussi les synthèses par sondage.
Sources
Cet article est une information générale, pas un conseil juridique. Les règles et les recommandations évoluent ; en cas de doute, consultez les sources citées ou votre juriste ou DPO.