法律实际要求
NYC地方法144 于2023年7月生效。它适用于任何使用自动化就业决策工具筛选候选人申请NYC工作的雇主,包括与NYC办公室相关的远程角色。该法律要求独立审计师进行年度偏见审计(供应商不能审计自己的工具),在雇主的网站上公开披露审计结果,通知候选人AI正在被使用,并为请求的候选人提供替代过程。消费者和工人保护部门执行它,每次违规每天的民事罚款为500美元至1500美元。
EU AI法案,于2024年最终确定,将就业AI归类为“高风险”系统在附录III下。高风险系统必须满足技术文档标准,实现有意义的人类监督,达到准确性和健壮性基准,并在部署前通知工人的代表。附录III系统的全部义务将于2026年8月2日生效。
两个法律共享一个核心要求:AI的决定必须是可解释和可审计的。需要能够对任何特定的候选人说明,为什么AI以这种方式对他们进行评分。这是大多数传统ATS平台无法满足的标准。
为什么传统ATS不断失败解释性测试
大多数传统ATS平台——Greenhouse、Lever、Workable、Ashby、Manatal——在内部使用某种形式的基于关键词的匹配。布尔令牌提取、TF-IDF评分、基于嵌入的语义相似性。这些方法在计算上是直接的。然而,它们也很难用简单的英语进行审计。
如果您的ATS告诉您候选人A评分为82,候选人B评分为47,这两个系统都无法用人类语言解释为什么。推理存在于浮点向量和加权关键词匹配中。当候选人问“为什么我被筛除”,没有可辩护的答案。当审计员问“显示我这个受保护类别的决策逻辑”,您只能统计样本。
三个结构性失败使传统ATS变得审计脆弱:
- 黑盒评分。 一个没有叙述的数字不是解释。候选人无法挑战它;审计员无法验证它。
- 词汇漂移偏见。 关键词匹配系统地惩罚那些使用不同词汇的候选人的简历——这与非传统背景和代表性不足的群体相关。
- 每个决策没有审计跟踪。 大多数系统记录产生了评分,但没有记录是什么证据驱动了它。这种差距是合规性问题的核心。
我们在亚马逊关于可解释排名的经验
在创立 Curriculo ATS 之前,我们的创始人 Dev 在亚马逊公司为搜索和推荐系统构建了排名系统 —— 与简历筛选属于同一问题类别。影响我们构建 Curriculo ATS 的经验来自亚马逊推荐团队多年前追求的研究方向,即在“可解释的 AI”成为流行词之前:一个无法告诉你为什么排名某些东西的排名器最终会排名错误,你也无法捕捉到它。
解决方案是结构性的,而不是表面上的。每个评分都必须与一个人类可以在几秒钟内阅读和验证的推理段落配对。对于招聘,这个段落指出模型看到的量化成就、它权衡的经验相关信号、它识别的职业轨迹模式以及它找到的技能对齐证据。它还说明了什么是缺失的。在我们的影响评分视图中,招聘经理可以在 10 秒内覆盖错误的调用。审计员可以验证每个决定都是基于合法的、与工作相关的信号做出的 —— 而不是基于受保护属性的代理。这种架构正是 NYC 地方法 144 和 EU AI 法附录 III 所要求的。大多数遗留的 ATS 平台在关键字管道上添加了 AI。我们将可解释性构建到评分本身中。
实际的 NYC 地方法 144 审计的成本和内容是什么
创始人在意识到需要偏差审计时会问两个问题:它的成本是多少,审计员实际上会查看什么。AEDTs 在 NYC 中的独立偏差审计通常根据工具的复杂性、候选人数据集的大小以及审计员是否需要从遗留的 ATS 中摄取自定义日志,费用在 5,000 美元至 25,000 美元之间。
审计检查受保护类别(种族、民族、性别)在每个阶段的选择率,其中 AEDT 影响了决定:初步筛选、评分、晋级面试。审计员计算影响比率,并标记任何选择率低于最高评分组的 80% 的群体 —— 自 1978 年以来,EEOC 应用于就业决策的标准 “五分之四规则”。
审计报告成为雇主必须在其网站上发布的公共文件,在使用任何 AEDT 之前须向候选人提供通知。未通过审计不会自动触发处罚,但它们要求雇主要么解决不均等影响,要么停止使用该工具。我们审查的大多数已发布的 2024-2025 年审计报告发现影响比率在法律上可接受的范围内,但一个重要的子集显示了技术角色筛选中的性别差异,供应商在内部 QA 中没有发现。
结构性解决方案与可解释性要求相同:每个决策的日志记录,使审计员能够对人群进行采样并追溯影响到特定的评分输入。仅产生聚合评分而没有每个决策的推理的工具通常无法完成分析,这本身就是一个故障模式。
创始人应该在本季度做的事情
如果您雇用 NYC 名候选人或预计在 2026 年 8 月后雇用 EU 名候选人,请将合规性视为 90 天的项目,而不是年度审查项目。五个具体步骤:
- 清点您的 AI 表面。 列出每个生成候选人评分、排名或推荐的工具:ATS、招聘工具、评估平台、AI 面试官。所有这些都在范围内。
- 验证可解释性。 对于每个工具,询问供应商:您能否在要求时生成人类可读的解释,说明为什么特定的候选人被评为特定的方式?"这是算法中的"并不是答案。
- 安排偏差审计。 如果您在 NYC 中使用自动招聘工具,法律要求独立审计师进行年度审计。审计成本通常为 5,000 美元至 25,000 美元,取决于工具复杂性和数据集大小。预算它。
- 添加候选人通知和替代流程。 通知可以是您申请页面上的单个句子:"此角色使用自动工具协助初步审查。"替代流程是候选人可以使用的联系电子邮件,以请求仅人类审查。
- 记录人机协同。 两个法律都期望有意义的人类监督,而不是橡皮图章。捕捉招聘经理接受或覆盖每个 AI 推荐的时刻。 Curriculo ATS 默认记录此信息;对于遗留 ATS,您可能需要添加此功能。