AI Act · Audit

Auditer son ATS face à l'AI Act : la méthode complète

Si votre ATS (Applicant Tracking System) intègre un module d'intelligence artificielle pour analyser, classer ou scorer des candidatures, il relève de l'Annexe III du règlement (UE) 2024/1689 et votre entreprise en est le déployeur. Méthode d'audit, documents à exiger du fournisseur, critères techniques et articulation avec le Data Act.

I. La responsabilité en cascade : pourquoi le déployeur n'est pas dispensé

L'idée que la responsabilité juridique liée à l'AI Act repose intégralement sur l'éditeur du logiciel est répandue mais inexacte. Le règlement (UE) 2024/1689 distingue deux régimes d'obligations cumulatives : le fournisseur supporte les obligations relatives à la conception et à la mise sur le marché du système (Articles 8 à 21), le déployeur supporte celles relatives à l'utilisation effective du système (Article 26).

Dans un processus de recrutement, l'Article 26 §2 impose au déployeur de confier la supervision humaine à des personnes compétentes. Si l'IA intégrée à votre ATS classe systématiquement plus bas les CV de candidats au-delà de cinquante ans, et que vos recruteurs valident ces classements sans remise en cause, c'est l'entreprise qui recrute qui répond du défaut de supervision humaine. Le fournisseur peut être mis en cause sur la conception du modèle (Article 9 — système de gestion des risques, Article 10 — gouvernance des données), mais cette mise en cause ne dispense pas le déployeur de ses propres obligations.

Cette logique en cascade se retrouve aux prud'hommes français et devant la CNIL. Les contentieux récents en matière de discrimination algorithmique à l'embauche (notamment l'affaire des annonces ciblées sur Facebook ayant abouti à une décision de la CNIL en 2024) ont systématiquement engagé la responsabilité de l'employeur déployeur, indépendamment de celle de l'éditeur de l'outil.

À retenir

Auditer son ATS ne consiste pas à reporter la responsabilité sur le fournisseur. C'est vérifier que le fournisseur a rempli ses obligations (afin de pouvoir s'en prévaloir) et organiser en interne les conditions de la supervision humaine, de la conservation des logs, de l'information du candidat et du CSE.

II. Les documents à exiger du fournisseur

Avant l'application des obligations Haut Risque, le déployeur doit obtenir et conserver une série de documents permettant de démontrer la conformité du système à l'AI Act. La liste qui suit reprend les pièces dont le fournisseur est tenu de pouvoir disposer ou produire, par référence aux articles correspondants du règlement.

1. La déclaration UE de conformité (Article 47)

Document signé par le fournisseur attestant que le système d'IA à haut risque satisfait aux exigences de la section 2 du chapitre III du règlement. La déclaration doit contenir les informations énumérées à l'Annexe V : identité du fournisseur, identification du système, organisme d'évaluation de la conformité ayant participé le cas échéant, références aux normes harmonisées appliquées, signature et date.

2. Les instructions d'utilisation (Article 13)

Document accompagnant le système et fournissant au déployeur les informations nécessaires à son utilisation conforme. L'Article 13 §3 énumère le contenu attendu : caractéristiques, capacités et limites de performance ; circonstances connues ou prévisibles dans lesquelles l'utilisation peut conduire à des risques ; spécifications relatives aux données d'entrée ; mesures de supervision humaine prévues, y compris les mesures techniques mises en place pour faciliter l'interprétation des sorties.

3. Le marquage CE (Article 48)

Apposé sur le système ou, lorsque cela n'est pas possible, sur son emballage et sa documentation d'accompagnement. Pour un logiciel de recrutement en mode SaaS, le marquage CE peut être indiqué dans la documentation et l'interface utilisateur. Son absence sur un système Annexe III est un manquement direct du fournisseur (Article 16) et bloque la mise sur le marché européen.

4. La documentation technique (Article 11 et Annexe IV)

Le fournisseur établit la documentation technique avant la mise sur le marché et la tient à jour. Elle doit démontrer que le système satisfait aux exigences du chapitre III et est conçue de manière à permettre à l'autorité de surveillance d'évaluer la conformité. Le déployeur n'a pas vocation à recevoir cette documentation dans son intégralité, mais peut en demander des extraits pertinents, notamment ceux relatifs à la gouvernance des données d'entraînement (Article 10) et au système de gestion des risques (Article 9).

5. Les journaux automatiques (Article 12)

Le fournisseur conçoit le système de manière à permettre la journalisation automatique d'événements pendant son cycle de vie. Le déployeur reçoit l'accès à ces journaux et en conserve les enregistrements pendant au moins six mois (Article 26 §6). L'audit doit vérifier la nature des événements journalisés : décisions automatisées prises, scores attribués, profils des candidats évalués, identifiant de l'utilisateur supervisant.

6. L'enregistrement dans la base de données européenne (Article 49 et 71)

Les systèmes d'IA à haut risque relevant de l'Annexe III doivent être enregistrés par le fournisseur dans la base de données européenne tenue par la Commission. Le déployeur public a également une obligation d'enregistrement. L'audit consiste à vérifier que le fournisseur communique l'identifiant d'enregistrement du système.

III. La supervision humaine effective : le test décisif

L'Article 14 du règlement impose au fournisseur de concevoir et développer le système de manière à ce qu'il puisse faire l'objet d'une supervision humaine effective par des personnes physiques. L'Article 26 §2 reprend l'obligation côté déployeur : confier la supervision humaine à des personnes physiques disposant des compétences, de la formation et de l'autorité nécessaires.

Plusieurs critères permettent à l'audit de vérifier le caractère effectif de la supervision :

IV. Le biais d'automatisation : huit critères de test d'interface

L'automation bias (ou biais d'automatisation) désigne la tendance des opérateurs humains à accorder un crédit excessif aux sorties d'un système automatisé. Le considérant 27 du règlement le reconnaît expressément. Pour un ATS, l'audit doit tester l'interface au regard des critères suivants :

  1. Présentation du score : le score est-il affiché de manière neutre (note numérique) ou de manière directive (codage couleur vert/rouge, classement par ordre décroissant qui invite à descendre dans la liste) ?
  2. Action par défaut : que se passe-t-il si le recruteur ne fait rien ? L'IA peut-elle prendre une décision irréversible (rejet automatique de candidatures sous un seuil) sans intervention humaine ?
  3. Friction d'override : combien d'étapes faut-il pour annuler une recommandation de l'IA ? Plus la friction est forte, moins la supervision est effective.
  4. Justification des sorties : un texte explique-t-il pourquoi tel candidat reçoit telle note (par exemple, mots-clés détectés, années d'expérience pondérées) ?
  5. Indication d'incertitude : le système signale-t-il les cas limites (CV atypiques, données manquantes, parcours hors distribution d'entraînement) ?
  6. Hiérarchie des informations : les facteurs non algorithmiques (lettre de motivation, références, échange direct) restent-ils visibles dans le workflow, ou l'IA monopolise-t-elle l'attention du recruteur ?
  7. Mode dégradé : que se passe-t-il en cas d'incident ou de panne du modèle ? Le processus de recrutement peut-il continuer manuellement sans rupture ?
  8. Audit indépendant disponible : le fournisseur a-t-il publié un rapport d'évaluation indépendante (algorithmic impact assessment) sur les biais éventuels de son modèle, y compris sur les caractéristiques protégées par le droit anti-discrimination français (Article 225-1 du Code pénal) ?

V. L'impact du Data Act sur les contrats ATS

En parallèle de l'AI Act, le règlement (UE) 2023/2854 du 13 décembre 2023 (Data Act) impose depuis le 12 septembre 2025 un cadre nouveau aux fournisseurs de services de traitement de données. Pour un ATS en mode SaaS, plusieurs obligations s'appliquent.

Portabilité des données (Articles 23 à 26)

Le fournisseur du service cloud (donc, indirectement, l'éditeur de l'ATS en SaaS) doit permettre au client de changer de service ou de réintégrer ses données dans une infrastructure interne, dans des délais raisonnables et sans entrave technique excessive. Les frais d'extraction et de transfert doivent disparaître progressivement.

Interopérabilité (Articles 28 à 30)

Les obligations d'interopérabilité s'imposent au fournisseur, ce qui doit se traduire par la mise à disposition de spécifications ouvertes ou de connecteurs vers les principaux concurrents du marché. L'audit consiste à vérifier la présence de telles capacités dans la documentation et le contrat.

Clauses contractuelles abusives (Article 13)

Le Data Act déclare nulles certaines clauses imposées unilatéralement à une PME, notamment celles qui limitent le droit du client à utiliser les données qu'il a générées, ou celles qui prévoient une exclusivité non négociée sur ces données. Les contrats ATS antérieurs à septembre 2025 doivent être passés au crible de cet article.

VI. Que faire si le fournisseur refuse de coopérer ?

L'audit peut faire émerger trois cas de refus typiques de la part du fournisseur : refus de communiquer la déclaration UE de conformité, refus de produire les instructions d'utilisation au format exigé par l'Article 13, refus de garantir la conservation des journaux dans une forme exploitable par le déployeur.

Dans ces situations, plusieurs voies coexistent :

VII. Cas pratique : audit d'un ATS américain hébergé hors UE

Soit une PME française de 80 salariés, utilisant depuis trois ans un ATS développé par un éditeur américain hébergé sur AWS US-East. L'ATS intègre un module de scoring de CV utilisant un modèle propriétaire. Le contrat de service prévoit un transfert de données sur la base des clauses contractuelles types (CCT) de la Commission européenne.

Vérifications attendues :

  1. Identification du mandataire UE de l'éditeur américain (Article 25). À défaut, l'éditeur est en infraction et l'ATS ne peut être légalement utilisé en Europe sur des données de candidats européens.
  2. Communication de la déclaration UE de conformité du module de scoring (Article 47). À défaut, suspension du module d'IA, retour au mode manuel.
  3. Instructions d'utilisation traduites en français, précisant les limites du modèle (Article 13). Vérification de la disponibilité dans la langue de la PME.
  4. Capacité d'export des données candidats et historiques de décisions, prévue par les Articles 23 à 26 du Data Act. Test concret d'export, mesure de la durée et du coût.
  5. Analyse de la chaîne de transfert hors UE au regard du RGPD : CCT à jour (version 2021), évaluation d'impact des transferts (TIA) post-arrêt Schrems II, mécanisme de chiffrement.
  6. Évaluation des biais du modèle : le fournisseur a-t-il publié un rapport d'impact algorithmique mesurant le taux d'erreur sur les sous-populations protégées (genre, origine, âge) ?
  7. Consultation rétroactive du CSE (L.2312-38 Code du travail) si l'outil a été déployé sans consultation préalable.

Aller plus loin

Pour comprendre pourquoi votre département RH est en première ligne, consultez l'analyse Conformité AI Act pour les RH. Pour structurer durablement la démarche, la norme ISO 42001 est la voie la plus solide. Le texte intégral du règlement IA est consultable sur EUR-Lex (règlement 2024/1689), celui du Data Act sur EUR-Lex (règlement 2023/2854).