L’IA dans l’action sociale : quand elle devient à haut risque, et ce qui reste possible
En bref
L’IA utilisée par une administration pour déterminer le droit à une prestation ou à un service essentiel figure à l’annexe III de l’AI Act : c’est une IA à haut risque. Cela impose un contrôle humain, une journalisation, une information des personnes concernées et une analyse d’impact sur les droits fondamentaux. Le travail de soutien, comme résumer des dossiers, en reste généralement exclu si un humain décide.
Pourquoi l’exigence est élevée ici
L’action sociale a une histoire avec le scoring automatisé. En 2020, le tribunal de La Haye a jugé que la législation encadrant SyRI, le système néerlandais de calcul du risque de fraude aux prestations, violait l’article 8 de la Convention européenne des droits de l’homme : trop peu transparent et impossible à contrôler pour les personnes concernées.
La leçon n’est pas que la technique serait interdite, mais que les personnes doivent pouvoir comprendre et contester ce qui est établi à leur sujet. C’est précisément ce que l’AI Act traduit aujourd’hui en règles.
Ce qui est à haut risque, et ce qui ne l’est pas
| Usage | Appréciation |
|---|---|
| Déterminer le droit à une prestation ou à un service | Haut risque (annexe III) |
| Classer les demandes selon un risque de fraude | Haut risque, et juridiquement fragile |
| Résumer des dossiers pour le travailleur social | Généralement pas à haut risque, si le professionnel décide |
| Interroger les dispositifs et les règlements | Pas à haut risque |
| Rendre les courriers plus compréhensibles | Pas à haut risque |
Après le Digital Omnibus, les exigences de l’annexe III s’appliquent à partir du 2 décembre 2027. Voir L’AI Act en 2026.
Ce qu’il faut organiser en cas de haut risque
- Analyse d’impact sur les droits fondamentaux. Les organismes publics l’effectuent au préalable et enregistrent l’usage dans la base de données de l’UE.
- Contrôle humain. Confié à des personnes formées et habilitées à intervenir, et non à celles qui se contentent de valider.
- Journalisation. Conserver au moins six mois les journaux générés automatiquement.
- Explication aux personnes concernées. Elles ont droit à une explication des décisions fondées en partie sur une IA à haut risque.
- AIPD. Quasiment toujours nécessaire : publics vulnérables et données sensibles. Voir L’AIPD pour l’IA générative.
Ce qui est possible et aide tout de suite
- Résumer dossiers et signalements, avec renvoi aux sources, pour que le professionnel ait plus vite une vue d’ensemble.
- Rendre dispositifs, règlements et instructions de travail interrogeables par les équipes.
- Réécrire les courriers aux usagers en langage clair, avec le professionnel comme relecteur final.
- Rédiger des comptes rendus d’entretien que le professionnel vérifie et valide.
Ces données n’ont pas leur place chez un service d’IA externe. Avec werqly, le modèle tourne sur un nœud propre à votre organisation, avec des rôles par équipe et des garde-fous sur les identifiants et numéros de dossier. Voir L’IA pour les collectivités et L’IA générative dans les collectivités.
Questions fréquentes
Questions sur ce sujet
L’IA peut-elle décider du droit à une prestation ?
Un tel système est une IA à haut risque au sens de l’AI Act, avec des exigences strictes de contrôle, de journalisation et de transparence. Le RGPD interdit en outre une décision fondée exclusivement sur un traitement automatisé produisant des effets significatifs.
Que nous enseigne encore SyRI ?
Qu’un système qui évalue des personnes doit être compréhensible et contestable. Le tribunal de La Haye a jugé en 2020 que la législation SyRI violait l’article 8 de la CEDH, notamment parce que son fonctionnement et son périmètre restaient opaques.
L’IA peut-elle aider à détecter la fraude ?
Le profilage par une administration touche aux droits fondamentaux et reste juridiquement fragile. Si vous le faites, c’est une IA à haut risque, avec analyse d’impact, enregistrement, journalisation et examen humain de chaque signalement.
Quels usages sont défendables ?
Ceux où l’IA ne juge pas des personnes : résumer des dossiers, interroger les dispositifs, clarifier des courriers et rédiger des comptes rendus que le professionnel vérifie. En gardant les données dans votre propre environnement.
Sources
- Tribunal de La Haye, 5 février 2020 (SyRI), ECLI:NL:RBDHA:2020:865
- Règlement sur l’IA — Règlement (UE) 2024/1689, annexe III et articles 26 et 27
Cet article est une information générale, pas un conseil juridique. Les règles et les recommandations évoluent ; en cas de doute, consultez les sources citées ou votre juriste ou DPO.