O que as leis realmente exigem
NYC Lei Local 144 entrou em vigor em julho de 2023. Ela se aplica a qualquer empregador que use ferramentas automatizadas de decisão de emprego para selecionar candidatos para vagas em NYC, incluindo funções remotas vinculadas a um escritório NYC. A lei exige uma auditoria anual de viés por um auditor independente (fornecedores não podem auditar suas próprias ferramentas), divulgação pública dos resultados da auditoria no site do empregador, notificação ao candidato de que AI está sendo utilizado e um processo alternativo para candidatos que solicitam um. O Departamento de Proteção ao Consumidor e ao Trabalhador faz cumprir a lei, com penalidades civis de $500 a $1.500 por violação, por dia.
A Lei EU AI Act, finalizada em 2024, classifica o emprego AI como "de alto risco" sob o Anexo III. Sistemas de alto risco devem atender a padrões de documentação técnica, permitir supervisão humana significativa, alcançar benchmarks de precisão e robustez e informar representantes dos trabalhadores antes da implantação. As obrigações completas para sistemas do Anexo III se tornam executáveis em 2 de agosto de 2026.
Ambas leis compartilham um requisito fundamental: a decisão do AI deve ser explicável e auditável. É necessário ser capaz de dizer, para qualquer candidato específico, por que o AI o avaliou da maneira como o fez. Esse é o padrão que a maioria das plataformas legadas ATS não consegue atender.
Por que as plataformas legadas ATS continuam falhando no teste de explicabilidade
A maioria das plataformas legadas ATS — Greenhouse, Lever, Workable, Ashby, Manatal — usa alguma forma de combinação baseada em palavras-chave por trás dos panos. Extração de tokens booleanos, pontuação TF-IDF, similaridade semântica baseada em embeddings. Esses métodos são computacionalmente diretos. No entanto, também são difíceis de auditar em inglês claro.
Se o seu ATS informa que o Candidato A obteve 82 pontos e o Candidato B obteve 47 pontos, nenhum dos sistemas pode dizer, em linguagem humana, por quê. A lógica de raciocínio reside em vetores de ponto flutuante e combinações de palavras-chave ponderadas. Quando um candidato pergunta "por que fui eliminado," não há resposta defensável. Quando um auditor pergunta "mostre-me a lógica de decisão para esta classe protegida," só é possível amostrar estatisticamente.
Três falhas estruturais tornam as plataformas legadas ATS frágeis em termos de auditoria:
- Pontuações de caixa preta. Um número sem narrativa não é uma explicação. O candidato não pode contestá-lo; o auditor não pode validá-lo.
- Viés de deriva de vocabulário. A combinação de palavras-chave penaliza sistematicamente os candidatos cujos currículos usam um vocabulário diferente do JD — o que está relacionado a origens não tradicionais e grupos subrepresentados.
- Nenhum registro de auditoria por decisão. A maioria dos sistemas registra que uma pontuação foi produzida, mas não o que impulsionou a evidência. Essa lacuna é o coração do problema de conformidade.
O que aprendemos na Amazon sobre classificação explicável
Antes de fundar a Curriculo ATS em 2024, nosso fundador Dev construiu sistemas de classificação na Amazon para busca e recomendações — a mesma classe de problemas que a triagem de currículos. A lição que moldou como construímos a Curriculo ATS veio de uma direção de pesquisa que as equipes de recomendação da Amazon perseguiram anos antes de "explicável AI" se tornar uma palavra-chave: um classificador que não pode dizer por que classificou algo eventualmente classificará errado, e você não o detectará.
A solução é estrutural, não cosmética. Cada pontuação deve ser associada a um parágrafo de justificativa que um ser humano possa ler em segundos e verificar contra as evidências subjacentes. Para contratação, esse parágrafo nomeia os feitos quantificados que o modelo viu, os sinais de relevância de experiência que ele ponderou, o padrão de trajetória de carreira que ele identificou e as evidências de alinhamento de habilidades que ele encontrou. Ele também diz o que faltava. Um gerente de contratação lendo o parágrafo em nossa visão de Pontuação de Impacto pode anular uma chamada errada em 10 segundos. Um auditor revisando uma população pode verificar que cada decisão foi tomada com base em sinais legítimos e relacionados ao trabalho — e não em proxies para atributos protegidos. Essa é a arquitetura que tanto a Lei Local 144 quanto o Anexo da Lei EU AI actually exigem. A maioria das plataformas legadas ATS acoplou AI em cima de pipelines de palavras-chave. Nós construímos a explicabilidade na própria pontuação.
O que um auditoria real da Lei Local 144 custa e contém
Os fundadores fazem duas perguntas quando percebem que precisam de uma auditoria de viés: quanto custa e o que o auditor realmente examina. Auditorias de viés independentes para AEDTs em NYC geralmente custam $5.000-$25.000, dependendo da complexidade da ferramenta, do tamanho do conjunto de dados de candidatos e se o auditor precisa ingerir logs personalizados de uma plataforma legada ATS.
A auditoria examina as taxas de seleção em categorias protegidas (raça, etnia, gênero) em todas as etapas em que o AEDT influenciou uma decisão: triagem inicial, pontuação, avanço para entrevista. O auditor calcula as razões de impacto e sinaliza qualquer grupo cuja taxa de seleção seja inferior a 80% do grupo com a pontuação mais alta — a regra padrão "quatro quintos" que o EEOC aplicou às decisões de emprego desde 1978.
O relatório de auditoria se torna um documento público que o empregador deve publicar em seu site, com aviso ao candidato antes de qualquer AEDT ser utilizado. Auditorias com falhas não desencadeiam automaticamente penalidades, mas obrigam o empregador a remediar o impacto disparado ou parar de usar a ferramenta. A maioria das auditorias publicadas de 2024-2025 que revisamos encontrou razões de impacto dentro da faixa legalmente aceitável, mas um subconjunto significativo mostrou disparidades baseadas no gênero na triagem de funções técnicas que os fornecedores não detectaram em testes internos QA.
A solução estrutural é a mesma que a explicabilidade requer: registro por decisão que permite ao auditor amostrar populações e rastrear o impacto até entradas de pontuação específicas. Ferramentas que produzem apenas pontuações agregadas sem razão por decisão muitas vezes não conseguem concluir a análise, o que é um modo de falha em si.
O que os fundadores devem fazer este trimestre
Se você contratar NYC candidatos ou espera contratar EU candidatos após agosto de 2026, trate a conformidade como um projeto de 90 dias, e não como um item de revisão anual. Cinco etapas concretas:
- Inventarie sua superfície de AI. Liste todos os instrumentos que produzem uma pontuação de candidato, classificação ou recomendação: ATS, ferramentas de captação, plataformas de avaliação, AI entrevistadores. Todos eles estão em escopo.
- Verifique a explicabilidade. Para cada ferramenta, pergunte ao fornecedor: é possível produzir, sob demanda, uma explicação legível por humanos sobre por que um candidato específico foi pontuado de uma maneira específica? "Está no algoritmo" não é uma resposta.
- Agende a auditoria de viés. Se você usa TADs em NYC, a lei exige uma auditoria anual por um auditor independente. O custo da auditoria é tipicamente $5.000-$25.000, dependendo da complexidade da ferramenta e do tamanho do conjunto de dados. Orçamento para isso.
- Adicione aviso ao candidato e processo alternativo. O aviso pode ser uma única frase na página de inscrição: "Esta vaga usa ferramentas automatizadas para auxiliar na revisão inicial." O processo alternativo é um e-mail de contato que os candidatos podem usar para solicitar uma revisão apenas humana.
- Documente o ser humano no loop. Ambas as leis esperam uma supervisão humana significativa, não um carimbo de borracha. Capture o momento em que um gerente de contratação aceita ou anula cada recomendação de AI. Curriculo ATS registra isso por padrão; para sistemas legados ATS, você pode precisar adicionar isso.