Surveiller une IA en production : ce qu’une collectivité mesure, conserve et réévalue chaque année
En bref
Une application d’IA change après le déploiement : l’usage se déplace, les sources vieillissent, un nouveau modèle arrive. L’AI Act impose aux déployeurs de systèmes à haut risque de surveiller le fonctionnement, de signaler les incidents et de conserver les journaux au moins six mois. Pour toute application, à haut risque ou non, la même approche est judicieuse : quelques chiffres par mois, un point de signalement des erreurs, des sondages sur les sorties et une réévaluation annuelle.
Ce que demande l’AI Act
L’article 26 impose aux déployeurs d’IA à haut risque : utiliser selon la notice du fournisseur, un contrôle humain par des personnes compétentes, la surveillance du fonctionnement, l’information du fournisseur et de l’autorité en cas de risque ou d’incident, et la conservation des journaux générés automatiquement pendant au moins six mois. Hors haut risque, ce n’est pas obligatoire, mais c’est ce que la CNIL, la chambre régionale des comptes et le conseil attendent quand quelque chose tourne mal. Voir AIPD et analyse d’impact sur les droits fondamentaux pour l’évaluation préalable ; cet article traite de l’après.
Ce que vous mesurez
| Chiffre | Ce qu’il dit | Source |
|---|---|---|
| Usage par rôle | Qui l’utilise pour quoi ; les déplacements signalent un usage nouveau non évalué | Journal d’audit |
| Taux de correction | À quelle fréquence les agents modifient la sortie avant usage | Sondage ou étape de confirmation |
| Références | Part des réponses avec une source valide ; une baisse signale des sources périmées | Contrôle automatique |
| Signalements | Nombre et nature des erreurs signalées, délai de traitement | Point de signalement |
| Résultats par groupe | Pour les applications touchant les habitants : écarts entre groupes | Analyse périodique |
| Disponibilité | Pannes et temps de réponse | Exploitation |
Voir Tester les algorithmes contre la discrimination pour les résultats par groupe.
La routine
- Chaque mois, un tableau des chiffres au propriétaire de l’application et au délégué à la protection des données.
- Chaque trimestre, un échantillon de sorties, examiné par des professionnels contre la source.
- À chaque changement de modèle, de source ou d’usage : une courte revérification et une note au registre.
- Chaque année, une réévaluation : la classe de risque est-elle toujours juste, les mesures suffisent-elles, l’application est-elle encore nécessaire.
- En cas d’incident, un circuit fixe : signaler, geler la sortie, cause, notification au fournisseur et à l’autorité si haut risque, retour vers les personnes touchées.
Voir Déployer un assistant IA dans une collectivité pour le déploiement qui précède cette routine.
Comment werqly s’y intègre
werqly AI Control fournit le journal d’audit par rôle, modèle et source, avec une durée de conservation que vous fixez vous-même. Les changements de modèle sont un choix explicite de la collectivité, pas une mise à jour silencieuse d’un fournisseur, de sorte que chaque changement est un moment de revérification. Voir L’IA pour les collectivités.
Questions fréquentes
Questions sur ce sujet
Combien de temps conserver les journaux de l’IA ?
Pour l’IA à haut risque, au moins six mois selon l’article 26 de l’AI Act, sauf texte imposant plus. Pour les autres applications, vous décidez, en cohérence avec le Code du patrimoine et le RGPD ; en pratique, un an est un point de départ praticable.
Qu’est-ce qu’un incident à signaler ?
Pour l’IA à haut risque : un dysfonctionnement ou un événement causant un dommage à la santé, à la sécurité ou aux droits fondamentaux. Pour toute application, un seuil interne plus bas est judicieux : chaque erreur ayant touché un habitant est enregistrée et fait l’objet d’un retour.
Qui est propriétaire de la surveillance ?
Le propriétaire de l’application dans le service métier, avec le DPO et le RSSI en relecteurs. Ni le fournisseur ni la DSI seule : le service métier sait ce qu’est une bonne sortie.
Et si un nouveau modèle devient disponible ?
Traitez-le comme un changement : tester sur le même échantillon que le modèle actuel, consigner les écarts, revérifier, et seulement ensuite basculer. Un fournisseur qui remplace les modèles en silence rend cela impossible.
Sources
- Artificialintelligenceact.eu — Article 26 : obligations des déployeurs
- CNIL — Intelligence artificielle : recommandations et fiches pratiques
Cet article est une information générale, pas un conseil juridique. Les règles et les recommandations évoluent ; en cas de doute, consultez les sources citées ou votre juriste ou DPO.