AI Bias dans le dépistage ATS, ce qui protège réellement

Ce que la loi exige réellement

NYC La Loi locale 144 est entrée en vigueur en juillet 2023. Elle s'applique à tout employeur utilisant des outils de décision automatisés pour évaluer les candidats pour des postes à NYC, y compris les rôles à distance liés à un bureau NYC. La loi exige un audit annuel de biais réalisé par un auditeur indépendant (les fournisseurs ne peuvent pas auditer leurs propres outils), une divulgation publique des résultats de l'audit sur le site Web de l'employeur, une notification aux candidats que AI est utilisé, et un processus alternatif pour les candidats qui en font la demande. Le Département de la protection des consommateurs et des travailleurs est chargé de faire respecter cette loi, avec des pénalités civiles de 500 à 1 500 dollars par infraction, par jour.

La loi EU AI, finalisée en 2024, classe l'emploi AI comme étant "à haut risque" en vertu de l'annexe III. Les systèmes à haut risque doivent respecter les normes techniques de documentation, permettre une surveillance humaine significative, atteindre des critères de référence de précision et de robustesse et informer les représentants des travailleurs avant leur déploiement. Les obligations complètes pour les systèmes de l'annexe III deviennent exécutoires le 2 août 2026.

Les deux lois partagent une exigence fondamentale: la décision de la AI doit être expliquable et vérifiable. Vous devez être en mesure de dire, pour un candidat spécifique, pourquoi le AI les a notés comme il l'a fait. C'est la norme que la plupart des plateformes ATS traditionnelles ne peuvent pas respecter.

Pourquoi l'ancien ATS échoue toujours au test d'explicabilité

La plupart des plateformes ATS traditionnelles utilisent une forme de correspondance basée sur des mots clés sous le capot. Extraction de jetons booléens, notation TF-IDF, similitude sémantique basée sur l'intégration. Ces méthodes sont calculément simples. Ils sont également difficiles à vérifier en anglais clair.

Si votre ATS vous dit que le candidat A a obtenu 82 et le candidat B 47, aucun système ne peut vous dire pourquoi en langage humain. Le raisonnement réside dans des vecteurs de points flottants et des correspondances de mots clés pondérés. Quand un candidat demande "pourquoi j'ai été éliminé", il n'y a pas de réponse défendable. Quand un auditeur demande "montrer la logique de décision pour cette classe protégée", vous ne pouvez que prendre un échantillon statistique.

Trois défaillances structurelles rendent l'héritage ATS fragile en matière d'audit:

• score de la boîte noire. Un nombre sans récit n'est pas une explication. Le candidat ne peut pas le contester; l'auditeur ne peut pas le valider.
• Vocabulary drift bias. Le match de mots clés pénalise systématiquement les candidats dont les CV utilisent un vocabulaire différent du JD; ce qui se corréle avec des milieux non traditionnels et des groupes sous-représentés.
• Aucune piste d'audit par décision. La plupart des systèmes enregistrent qu'un score a été produit, pas quelle preuve l'a conduit. Cette lacune est au cœur du problème de conformité.

Ce que nous avons appris sur Amazon sur le classement explicatif

Avant de fonder Curriculo ATS en 2024, notre fondateur Dev a construit des systèmes de classement chez Amazon pour la recherche et les recommandations; la même classe de problème que le dépistage de CV. La leçon qui a façonné la façon dont nous avons construit Curriculo ATS est venue d'une direction de recherche que les équipes de recommandation d'Amazon ont suivie des années avant que "AI expliquable" ne devienne un mot à la mode: un classement qui ne peut pas vous dire pourquoi il a classé quelque chose finira par se classer mal, et vous ne le comprendrez pas.

La solution est structurelle, et non cosmétique. Chaque score doit être associé à un paragraphe de justification que l'on peut lire en quelques secondes et vérifier contre les preuves sous-jacentes. Pour le recrutement, ce paragraphe nomme les réalisations quantifiées que le modèle a identifiées, les signaux de pertinence d'expérience qu'il a pris en compte, le modèle de trajectoire de carrière qu'il a identifié et les preuves d'alignement des compétences qu'il a trouvées. Il indique également ce qui manquait. Un responsable du recrutement qui lit le paragraphe dans notre vue de notation d'impact peut annuler une décision erronée en 10 secondes. Un auditeur qui examine une population peut vérifier que chaque décision a été prise sur la base de signaux légitimes et liés à l'emploi, et non sur des substituts d'attributs protégés. C'est l'architecture que demandent réellement à la fois la NYC Loi locale 144 et l'EU AI Annexe de l'Acte III. La plupart des plateformes ATS héritées ont greffé AI sur le dessus des pipelines de mots clés. Nous avons intégré l'explicabilité dans le scoring lui-même.

Qu'est-ce qu'une vraie NYC Loi locale 144 coûte et contient

posent deux questions lorsqu'ils réalisent qu'ils ont besoin d'un audit biaisé: combien cela coûte et à quoi l'auditeur regarde réellement. Les audits indépendants de biais pour les AEDT dans NYC coûtent généralement entre 5 000 et 25 000 dollars selon la complexité de l'outil, la taille du jeu de données candidat et si l'auditeur doit ingérer des journaux personnalisés à partir d'un ATS ancien.

L'audit examine les taux de sélection dans les catégories protégées (race, ethnie, sexe) à chaque étape où le AEDT a influencé une décision: dépistage initial, score, avancée à l'entrevue. L'auditeur calcule les ratios d'impact et désigne tous les groupes dont le taux de sélection est inférieur à 80% du groupe ayant le score le plus élevé; la " règle de quatre cinquièmes " standard que la EEOC applique aux décisions d'emploi depuis 1978.

Le rapport d'audit devient un document public que l'employeur doit publier sur son site internet, avec un avis de candidat avant l'utilisation de tout AEDT. Les audits ratés ne déclenchent pas automatiquement des sanctions, mais ils obligent l'employeur à remédier à l'impact disparate ou à cesser d'utiliser l'outil. La plupart des audits publiés de 2024 à 2025 que nous avons examinés ont trouvé des ratios d'impact dans la plage légalement acceptable, mais un sous-ensemble significatif a montré des disparités fondées sur le sexe dans le dépistage du rôle technique que les fournisseurs n'ont pas détectées dans la QA interne.

La fixation structurelle est la même que celle requise par l'explicabilité: enregistrement par décision permettant à l'auditeur d'échantillonner les populations et de suivre l'impact sur des données de notation spécifiques. Les outils qui ne produisent que des scores agrégés sans raisonnement par décision ne peuvent souvent pas compléter l'analyse du tout, ce qui est en soi un mode d'échec.

Ce que les fondateurs devraient faire ce trimestre

Si vous embauchez des candidats NYC ou que vous prévoyez d'embaucher des candidats EU après août 2026, traitez la conformité comme un projet de 90 jours, et non comme un élément d'examen annuel. Cinq étapes de béton:

• Inventaire de votre surface AI. Listez tous les outils qui produisent un score, un classement ou une recommandation des candidats: ATS, outils d'approvisionnement, plates-formes d'évaluation, interviewés AI. Ils sont tous dans le champ d'application.
• Vérifiez l'explicabilité. Pour chaque outil, demandez au fournisseur: pouvez-vous produire, sur demande, une explication lisible par l'homme de la raison pour laquelle un candidat spécifique a été noté d'une manière spécifique? "C'est dans l'algorithme" n'est pas une réponse.
• Planifier l'audit de partialité. Si vous utilisez des AEDT dans NYC, la loi exige un audit annuel par un vérificateur indépendant. Le coût de l'audit est généralement de 5 000 $– 25 000 $ en fonction de la complexité de l'outil et de la taille du jeu de données. Je vous en prie.
• Ajouter l'avis de candidature et le processus alternatif. L'avis peut être une seule phrase sur votre page de candidature: " Ce rôle utilise des outils automatisés pour aider à l'examen initial. " Le processus alternatif est un contact par courriel que les candidats peuvent utiliser pour demander une révision uniquement pour les humains.
• Documentez l'homme dans la boucle. Les deux lois exigent une surveillance humaine significative, pas un timbre en caoutchouc. Capturez le moment où un gestionnaire d'embauche accepte ou annule chaque recommandation AI. Curriculo ATS enregistre par défaut; pour l'héritage ATS, vous devrez peut-être le verrouiller.