どのように法律が実際に要求するか
NYC 地方法144 は、2023年7月に施行されました。これは、NYCの仕事のための候補者を自動化された雇用決定ツールでスクリーニングするすべての雇用主に適用されます。NYCオフィスに結び付けられたリモートロールを含みます。この法律では、独立した監査人の年次バイアス監査、雇用主のウェブサイトでの監査結果の公開、AIの使用についての候補者への通知、および候補者が要求した場合の代替プロセスを要求します。消費者および労働者保護局が施行し、1日あたり1件あたり500ドル～1500ドルの民事罰金が課せられます。
EU AI 法は、2024年に最終化され、雇用 AI を「高リスク」としてアネックスIIIに分類します。高リスクシステムは、技術文書化基準を満たす必要があり、有意義な人間の監視を可能にし、精度とロバスト性の基準を達成し、展開前に労働者代表に通知する必要があります。アネックスIIIシステムの完全な義務は、2026年8月2日に施行されます。
以上の法律は、1つの重要な要件を共有しています。AIの決定は、説明可能で監査可能でなければなりません。特定の候補者について、AIがどのようにスコアリングしたのか、その理由を述べることができる必要があります。これが、多くのレガシーのATSプラットフォームが満たすことができない基準です。
レガシーのATSが説明可能性のテストに失敗する理由
多くのレガシーのATSプラットフォーム — Greenhouse、Lever、Workable、Ashby、Manatal — は、内部的にキーワードベースのマッチングの一種を使用しています。ブール演算トークン抽出、TF-IDF スコアリング、埋め込みベースのセマンティック類似度。これらの方法は、計算的に単純です。しかし、平易な英語で監査することは難しいです。
あなたのATSが、候補者Aは82点、候補者Bは47点だったと伝えた場合、どちらのシステムも、人間の言語でその理由を説明することができません。推論は浮動小数点ベクトルと重み付きキーワードマッチに存在します。候補者が「なぜ私はスクリーンアウトされたのか」と問うとき、守備可能な答えはありません。監査員が「この保護クラスの決定ロジックを示してください」と問うとき、統計的にサンプルすることしかできません。
3つの構造的な失敗が、レガシーのATSを監査フラグILEにする：
- ブラックボックススコア。 物語のない数字は説明ではありません。候補者はそれに異議を唱えることができません。監査員はそれを検証することができません。
- 語彙ドリフトバイアス。 キーワードマッチングは、候補者の履歴書がJDと異なる語彙を使用する場合に、システム的にペナルティを与えます — これは、非伝統的な背景と代表されていないグループと相関します。
- 決定ごとの監査トレイルがない。 多くのシステムは、スコアが生成されたことをログしていますが、それを駆動した証拠についてはログしていません。そのギャップが、コンプライアンス問題の核心です。
アマゾンで説明可能なランキングについて学んだこと
設立CurriculoATS以前の2024年、創設者DevはAmazonで検索とレコメンデーションのためのランキングシステムを構築しました — これは、履歴書のスクリーニングと同じ問題クラスです。CurriculoATSを構築する際に私たちを導いた教訓は、Amazonのレコメンデーションチームが「説明可能なAI」という流行語になる以前から追求していた研究方向から得られました: ランキングの理由を説明できないランカーは、最終的に誤ったランキングを行い、検出できないでしょう。
解決策は構造的なものであり、表面的なものではありません。各スコアは、人間が数秒で読み、根底にある証拠と照合できる理由付けの段落とペアにする必要があります。採用の場合、その段落は、モデルが見た量化された業績、重み付けされた経験関連シグナル、特定されたキャリアトラジェクトリーパターン、および見つかったスキル一致証拠を記載します。また、不足しているものも記載します。Impact Scoringビューの段落を読む採用マネージャーは、10秒で誤った呼び出しを上書きできます。人口をレビューする監査員は、各決定が職務関連の信号に基づいて行われた — 保護された属性の代理ではなく — ことを確認できます。これは、NYC 地方法144およびEUAI法附則IIIが実際に要求するアーキテクチャです。大多数のレガシーATSプラットフォームは、キーワードパイプラインの上にAIをボルトオンしました。私たちは、スコアリング自体に説明可能性を組み込みました。
実際のNYC 地方法144監査のコストと内容
創設者は、偏見監査が必要であることを認識したときに、2つの質問をします: コストはどれくらいか、監査員は実際に何を見ますか。AEDTsの独立した偏見監査は、NYCでは通常、ツールの複雑さ、候補者データセットのサイズ、および監査員がレガシーATSのカスタムログをインジェストする必要があるかどうかに応じて、5,000ドル〜25,000ドルです。
オーディットでは、保護対象カテゴリ（人種、民族、性別）における選考率を、AEDTが決定に影響を与えたすべての段階で検討します。オーディターは、影響率を計算し、選考率が最も高いグループの80%未満のグループを特定します。これは、1978年以来、雇用決定に適用されてきた「五分の四ルール」の標準です。EEOCは、
オーディット報告書は、雇用主がウェブサイトに掲載する公的文書となり、AEDTを使用する前に候補者に通知が提供されます。オーディットに失敗した場合、自動的に罰則が発動するわけではありませんが、雇用主は、差別的影響を是正するか、ツールの使用を停止する義務を負います。私たちが調査した2024-2025年の公開オーディットでは、影響率が法的に受け入れられる範囲内にあることが多かったですが、ベンダーが内部QAで検出しなかった技術的な役割の選考における性別に基づく差異を示す、意味のあるサブセットが見つかりました。
構造的な解決策は、説明可能性を必要とするものと同じです。オーディターが人口をサンプリングし、影響を特定のスコアリング入力に追跡できる、決定ごとのログ記録です。決定ごとの理由付けなしに集約スコアのみを生成するツールは、分析を完了できないことが多く、これ自体が失敗モードです。
創設者が今季に行うべきこと
2026年8月以降にNYC人の候補者を雇用する予定がある場合、またはEU人の候補者を雇用する場合は、コンプライアンスを90日間のプロジェクトとして扱い、年次レビュー項目として扱わないでください。5つの具体的なステップ:
- サーフェスをインベントリ化する。 候補者スコア、ランキング、または推薦を生成するすべてのツールをリストアップする：ATS、ソーシングツール、評価プラットフォーム、AI インタビュアー。すべてが対象となる。
- 説明可能性を検証する。 各ツールについて、ベンダーに問い合わせる：特定の候補者が特定のスコアを得た理由について、人間が読める説明を要求に応じて生成できるか。 "アルゴリズムの中にあります" は答えではない。
- バイアス監査をスケジュールする。 NYCでAEDTsを使用する場合、法律では独立した監査人の年次監査が必要である。監査費用は通常、ツールの複雑さとデータセットのサイズに応じて5,000ドル〜25,000ドルである。予算を計上する。
- 候補者通知と代替プロセスを追加する。 通知は、アプリケーションページに1文を記載するだけである： "この役割では、初期レビューを支援するために自動化ツールを使用します。" 代替プロセスは、候補者が人間のみのレビューを要求するために使用できる連絡先メールアドレスである。
- ループ内的人間を文書化する。 両方の法律では、意味のある人間の監視が期待されており、ラバースタンピングではない。採用マネージャーが各AI推薦を承認またはオーバーライドする瞬間をキャプチャする。 Curriculo ATSはデフォルトでログを記録する；レガシーシステムATSの場合、ボルトインする必要があるかもしれない。