법률이 실제로 요구하는 것은
NYC 지방법 144 은 2023년 7월부터 시행되었습니다. 그것은 NYC의 사무실에 연결된 원격 역할을 포함하여 NYC의 직업에 대한 후보자를 검사하기 위해 자동화된 고용 결정 도구를 사용하는 모든 고용자에게 적용됩니다. 법은 독립적인 감사의 연간 편견 감사 (판매자는 자신의 도구를 감사 할 수 없습니다), 고용주 웹 사이트에서 감사 결과를 공개하고, AI가 사용되고 있다는 후보자 알림과 신청하는 후보자에 대한 대체 절차를 요구합니다. 소비자 및 근로자 보호부는 이를 시행하고 있습니다.
2024년에 최종적으로 확정된 EU AI 법 () 은 III 부록에 따라 AI 고용을 "고위험"으로 분류한다. 고위험 시스템은 기술 문서화 표준을 충족시켜야 하며, 의미 있는 인간 감독을 가능하게 하고, 정확성과 안정성 기준을 달성하고, 배치 전에 노동자 대표자들에게 정보를 제공해야 한다. 제0항 III 시스템에 대한 완전한 의무는 2026년 8월 2일 시행됩니다.
두 법은 하나의 핵심 요건을 공유한다. AI의 결정은 설명이 가능하고 감사가 가능한 것이어야 한다. 어떤 특정 후보에 대해 AI가 어떻게 점수를 받았는지 알 수 있어야 합니다. 이것은 대부분의 기존 ATS 플랫폼이 충족할 수 없는 표준입니다.
왜 legacy ATS는 설명성 테스트
에서 계속 실패하는 지대부분의 레거시 ATS 플랫폼은 — 그린하우스, 레버, 워커블, 애쉬비, 마나탈 — 뚜 아래의 키워드 기반의 어떤 형태의 일치 방식을 사용합니다. 볼 토큰 추출, TF-IDF 점수, 임베디션 기반의 의미적 유사성. 이 방법들은 계산적으로 간단합니다. 또한, 단순 영어로 감사하는 것도 어렵습니다.
만약 ATS가 A 후보가 82점, B 후보가 47점이라는 것을 말해준다면, 이 논리는 부동의 점 벡터와 중형 키워드 일치에 있습니다. 후보자가 "왜 내가 검진을 받았는지"를 묻는다면, 감사가 "이 보호된 클래스의 결정 논리를 보여줘"라고 물으면 통계적으로 샘플을 만들 수 있습니다.
세 가지 구조적 오류가 계승된 ATS을 감사 취약하게 만듭니다:
- 블랙박스 점수 설명이 없는 숫자는 설명이 아닙니다. 지원자는 그것을 반박할 수 없으며 감사는 그것을 검증할 수 없습니다.
- 어휘 유동 편향 키워드 일치는 JD와 다른 어휘를 사용하는 CV를 가진 후보자에게 체계적으로 처벌합니다. 이는 비전통적 배경과 비대표 그룹과 상관관계가 있습니다.
- 결정별로 감사 추적이 없습니다. 대부분의 시스템은 스코어가 생성된 것을 기록하고, 어떤 증거가 그것을 주도했는지가 아니라 이 격차는 준수 문제의 핵심입니다.
아마존에서 설명 가능한 순위
에 대해 배운 것은2024년에 Curriculo ATS를 설립하기 전에, 우리의 창업자 데브는 검색 및 추천을 위해 아마존에서 순위 시스템을 구축했습니다. Curriculo ATS를 어떻게 만들었는지 결정한 교훈은 아마존의 추천팀이 "해설 가능한 AI"가 대중적인 단어로 바뀌기 몇 년 전에 추구한 연구 방향에서 왔습니다. 어떤 것을 왜 순위화했는지 알려주지 않는 순위자라면 결국 순위에는 틀릴 것이고, 당신은 그것을 잡지 않을 것입니다.
구조적인 해결책이지, 표면적인 해결책이 아닙니다. 모든 점수는 인간이 몇 초 안에 읽고 기본적인 증거와 검증할 수 있는 이유를 설명하는 단락과 함께 제공되어야 합니다. 채용을 위해 그 단락은 모델이 본 수량화된 성과, 경험 관련 신호, 경력 궤적 패턴, 기술 일치 증거를 이름을 지정하고, 무엇이 부족했는지 말합니다. 또한 잘못된 호출을 10초 안에 재정의할 수 있는 채용 관리자가 Impact Scoring 보기에서 단락을 읽을 수 있습니다. 인구를 검토하는 감정人は 각 결정이 합법적이고, 직무 관련 신호에 따라 만들어졌는지, 보호된 속성의 대리인에 따라 만들어지지 않았는지 확인할 수 있습니다. 그것이 NYC 지역 법 144와 EU AI 법 부록 III이 실제로 요구하는 아키텍처입니다. 대부분의 레거시 ATS 플랫폼은 키워드 파이프라인 위에 AI을 추가했습니다. 우리는 스코어링 자체에 설명 가능성을 구축했습니다.
실제 NYC 지방법 144 감사 비용과
포함창업자들은 편향적인 감사가 필요하다는 것을 깨달았을 때 두 가지 질문을 합니다. 그 비용은 얼마나 많은데, 그리고 감사가 실제로 무엇을 보고 있는지. NYC에 대한 독립적인 편향 감사는 일반적으로 도구의 복잡성, 후보 데이터 세트의 크기, 그리고 감사가 기존 ATS에서 사용자 지정 로그를 섭취해야하는지 여부에 따라 5,000~25,000 달러에 달한다.
감사는 AEDT가 결정에 영향을 미쳤던 모든 단계에서 보호된 범주 (종족, 민족, 성) 에서 선택률을 조사합니다. 감사는 영향 비율을 계산하고 선택률이 가장 높은 점수를 받은 그룹의 80% 이하의 그룹을 표시합니다. EEOC는 1978년부터 취업 결정에 적용한 표준 "4/5 규칙"입니다.
감사 보고서는 AEDT를 사용하기 전에 지원자 알림으로 고용주가 웹사이트에 게시해야 하는 공개 문서가 됩니다. 실패한 감사는 자동으로 벌금을 유발하지는 않지만, 고용주에게 그 영향을 보완하거나 도구를 사용하지 않게 할 의무가 있습니다. 우리가 검토한 대부분의 발표된 2024-2025 감사는 법적적으로 허용되는 범위 내에서 영향을 미치는 비율을 발견했습니다. 그러나 의미있는 하위 집합은 기술 역할 검진에서 성별 기반의 차이를 보여주었습니다. 공급자는 내부 QA에서 파악하지 못했습니다.
구조적 고치는 설명이 요구하는 것과 동일합니다. 결정별 로그링으로 감사가 특정 점수 입력에 대한 인과와 영향을 추적 할 수 있습니다. 결정에 대한 추론 없이 단지 합계 점수를 생성하는 도구들은 종종 분석을 완전히 완료할 수 없으며, 이는 자체적으로 실패 모드입니다.
창업자들이 이분기에 해야 할 일은
NYC 후보자를 고용하거나 2026년 8월 이후 EU 후보자를 고용할 것으로 예상하는 경우, 준수 사항을 연간 검토 항목이 아닌 90일 프로젝트로 간주하십시오. 5개의 콘크리트 단계:
- AI 표면을 재고하라 후보자 점수, 순위 또는 추천을 생성하는 모든 도구를 나열하십시오: ATS, 소싱 도구, 평가 플랫폼, AI 인터뷰어. 모두 범위를 다 다룬다.
- 설명가능성을 확인해 보세요. 각 도구에 대해 공급자에게 물어보세요: 특정 후보자가 특정 방식으로 점수를 받았는지에 대한 인간독성적인 설명을 요구하면 되나요? "알고리즘에 있는 것"은 답이 아닙니다.
- 편견 감사를 계획하라 NYC에 AEDT를 사용하는 경우, 법률은 독립적인 감사가 매년 감사하는 것을 요구합니다. 감사 비용은 일반적으로 5,000 달러, 도구 복잡성과 데이터 세트의 크기에 따라 25,000 달러입니다. 예산이 필요해
- 후보자 통지 및 대체 절차를 추가합니다. 신청서 페이지에 있는 통지에는 하나의 문장이 있을 수 있습니다. "이 역할은 자동화된 도구를 사용하여 초기 검토에 도움을 줍니다".
- 인간과 함께 있는 것을 문서화해 보세요. 두 법 모두 인간 감독을 의미있게 요구하고, 고무 표지를 요구하지 않습니다. 고용 관리자가 AI 추천을 받아들이거나 우월하는 순간을 캡처하십시오. Curriculo ATS는 기본적으로 이 기록을 기록합니다. legacy ATS에서는 이 기능을 연결해야 합니다.