現在の採用市場では、ほとんどのアプリケーショントラッキングシステムがAIを実現していると主張しています。しかし、実際にはそうではありません。多くのシステムは、ルールベースの自動化、キーワード抽出、そして2014年のコードベース上に薄くレイヤー化された文埋め込みモデルを持っています。マーケティングページではAIと述べていますが、カーテンの後ろにあるモデルは、10年間変わらずに使用されている通常の正規表現です。
これは、採用におけるAIのハYPEとAIの現実の間にあるギャップです。このギャップは重要です。なぜなら、購入するものによって採用の結果が完全に異なるからです。
採用における本当のAIとは
採用における本当のAIとは、履歴書を読み込み、測定可能な成果（収益、チーム管理、システムの出荷、解決した問題）を抽出し、候補者を役割の関連性に基づいてランク付けするモデルです。このモデルはスコアと人間が読み、異議を唱えることができる書面の理由付け段落を生成します。単にトークンを数えたり、ベクトル距離を計算したりするのではなく、候補者が実際に何を行ったかを解釈します。McKinseyの研究によると、2020年から2024年にかけて、スキルベースの採用の採用率は40％から60％に上昇しました。これは、成果を読み取るモデルがサポートするものです。ハYPEAIはスキルベースの採用をうまく行うことができません。なぜなら、スキルの概念がないからです。本当のAIはできます。
最もシンプルなテストは、ベンダーにスコアの理由付け段落を要求することです。如果ベンダーが段落を生成できない場合、スコアはブラックボックスであり、AIはマーケティングです。
ハYPEAI：繰り返し現れるパターン
この市場のほとんどのデモを見てきましたが、同じパターンがAIとして売られていることがわかります。
- キーワード頻度をセマンティックマッチとして装飾する。モデルはPythonとAWSの出現頻度を数え、結果をマッチスコアと呼びます。ストップワードフィルタリングとシノニム辞書を追加すると、「自然言語処理」と呼ばれます。候補者の経験は変わりません。履歴書にキーワードを詰め込めば勝ちます。
- 文埋め込みを薄いラッパーとして使用する。より洗練されたバージョンでは、事前トレーニングされた文埋め込みを使用して、履歴書とJDの間のコサイン類似度を計算します。これはシノニムを捉えますが、依然としてテキスト間のマッチングです。候補者がJDを履歴書の要約にコピー＆ペーストすると、実際の経験がないにもかかわらず、高いスコアが得られます。
- チャットボット面接官。スクリプト化されたフォームにLLMフロントエンドが付いています。スケジューリングとトリアージに役立ちますが、知能のスクリーニングには役立ちません。
- AI生成の要約。モデルは履歴書を要約してバレットポイントにしますが、これは生産性の機能であり、ランキングの決定ではありません。下にあるランカーは依然としてキーワードベースです。
これらは詐欺ではありません。ただ、ラベリングが贅沢です。また、候補者がATSをゲームすることを学習する理由でもあります。Jobscanは、実際の履歴書におけるキーワードスタッフィングの普遍性を文書化していますが、このパターンは、スクリーニングシステムがそれを報酬するからこそ機能します。
なぜハYPEが持続するのか
採用ソフトウェアにおけるAIマーケティングとAI現実の間のギャップを広く開けておく3つの力があります。これらを名前を付けて無視することができます。
第一に、購入者は通常、技術的な評価者ではありません。調達はHRであり、デモは人事責任者向けであり、「実際のモデルアーキテクチャは何ですか？」という質問はほとんど聞かれません。ベンダーは、2018年に出荷した同じ正規表現をAIと呼ぶことができることを学習します。マーケティングにはペナルティがありません。
第二に、レガシーのATSはプラットフォームプレイです。Greenhouse、Lever、Workableは、スクリーニングの精度ではなくワークフローでお金を稼ぎます。実際のランキングAIを追加することは、高価なエンジニアリングであり、調達比較シートにクリーンに表示されない機能です。したがって、安いバージョンを出荷します。
第三に、採用はジョブの説明の品質、ソーシングチャネル、市場条件、チームブランドなどの多くの他のもののダウンストリームです。悪いスクリーニングはノイズの中に隠れています。1年に12人の優秀なエンジニアを採用するチームは、プロセスを称賛します。同じチームは、スクリーニングが実際に働いていない場合でも、Googleシートで同じ12人を採用するでしょう。実際のAIスクリーニングは、創設者が実際のリフトをノイズから区別するのに役立つ方法でテストできます。モデル上位10位の候補者を自分の上位10位と比較して、どちらが一致するかを確認できます。ハYPEAIはほとんどの場合、このテストに失敗します。
アマゾンのレコメンデーションシステムが教えてくれたこと
CurriculoATSの前に、創設者のDevはアマゾンで検索とレコメンデーションシステムに取り組みました。そこで学んだ教訓は、採用AIに直接適用されます。出荷する価値のあるモデルは、上位K件の結果が良いものだけです。他のものはすべて劇です。
アマゾンのレコメンダーは、平均精度はわずかに良くなるものの、1位のアイテムを誤ってランク付けするモデルを出荷しません。1位が決定するのは、ユーザーがクリックするかどうかです。同じことが履歴書のランク付けにも当てはまります。リクルーターは上位10〜15件しか見ないからです。如果モデルの上位10件が間違っている場合、システムの残りの部分はあなたを救ってくれません。
そのため、CurriculoATSは、マルチシグナル評価、数量的成果、経験の関連性、キャリアトラジェクトリー、スキルの整合性を中心に構築されています。これにより、0〜100の合成スコアと完全な書面の理由付け段落が生成されます。段落は、ブラックボックスランカーを創設者が実際に信頼できるものに変える部分です。読み、異議を唱え、上書きすることができます。これが、AIとしての意思決定サポートとAIとしての意思決定置き換えの違いです。詳細は、インパクトスコアリングページを参照してください。
なぜ購入者の質問がベンダーのマーケティングよりも重要か
創設者がデモでAIについて尋ねる方法は、実際のランキングインテリジェンスを取得するか、マーケティングに着飾られたものを取得するかを決定します。調達競争で勝つベンダーは、常に最も優れたモデルを持っているわけではありません。デモで実際に購入者が尋ねる質問に答えるベンダーです。大多数の購入者は、間違った質問をしています。「AIを持っていますか？」は間違った質問です。なぜなら、すべてのベンダーが「はい」と答えるからです。「AIスコアは何ですか？」は近いですが、ベンダーにモデル入力を説明することを強制します。「上位候補者の理由付けを示してください」は正しい質問です。ベンダーに出力を生成することを強制するからです。実際のランキングインテリジェンスを持つベンダーは、90秒以内にこれを示すことができます。ハYPEAIを持つベンダーは示すことができません。これが、どのATSデモでも最も重要なシグナルです。大多数の創設者は、デモフローがワークフローの機能に沿ったものであるため、これをスキップします。創設者は40分間のパイプラインボードとオファーレターテンプレートのウォークスルーに座り、モデルが特定の候補者に対する段落を生成することを尋ねることなく、年間契約に署名します。調達ギャップは、AIの知識の欠如ではありません。デモを中断する意欲の欠如です。創設者が最初の10分以内に理由付け段落を尋ねる場合、ベンチマークを読む必要なく、70％のレガシーのATS市場をフィルタリングできます。
創設者が採用ベンダーを1つのデモで評価する方法
調達フレームワークは必要ありません。3つの質問が必要です。
- 上位候補者の理由付けを示してください。もし答えが説明のない数字である場合、モデルはキーワードベースです。次に進みます。
- 私の最後の採用の履歴書をシステムに通してください。もしモデルが上位10位にランク付けした場合、システムにはシグナルがあります。如果拒否された場合、モデルは壊れています。
- 10の役割を開いた場合、コストはどうなりますか？シートあたりの価格設定は成長するチームを罰します。フラット価格設定は採用量とスケールします。これがスタートアップが実際に気にすることです。
これがデモの全容です。30分で十分です。
次に何をするか
ATSのショートリストが机の上にあり、AIが実際かどうかがわからない場合、3つの質問のデモをそれぞれに実行します。次に、創設者のAIATSページと比較ページを読み、メジャーベンダーが成果ベースのモデルとどのように比較されるかを確認します。CurriculoATSのスターター層は、無制限のアクティブジョブで無料であり、現在実行中の役割をランカーでテストするのに十分です。契約にコミットする必要はありません。
アマゾン（検索とレコメンデーション）およびシノプシスの元マシンラーニングエンジニア。キーワードマッチングを採用から除外し、成果ベースのAI評価に置き換えるCurriculoATSを構築しました。ペンシルベニア州立大学の卒業生です。採用AI、ATS経済学、実際のジョブパフォーマンスを予測するものについて書いています。