Designing AI-resistant technical evaluations｜AI耐性のある技術評価の設計

# AIに解かれない技術課題の設計：Anthropicの試行錯誤 Anthropicのパフォーマンス最適化チームリードであるトリスタン・ヒュームは、同社が数十名のパフォーマンスエンジニアを採用するのに役立った自宅課題試験の設計と、AI能力の進化に伴うその変遷について述べている。 技術候補者の評価は、AI能力が向上するにつれて難しくなっている。今日、人間のスキルレベルをうまく区別する自宅課題も、明日にはモデルによって簡単に解かれてしまい、評価手段として無意味になる可能性がある。 2024年初頭以降、同社のパフォーマンスエンジニアリングチームは、候補者がシミュレートされたアクセラレーター用にコードを最適化する自宅課題を使用してきた。1000人以上の候補者がこれを完了し、数十名が現在同社で働いており、Claude 3 Opus以降のすべてのモデル開発に関わったエンジニアも含まれている。 しかし、新しいClaudeモデルが登場するたびに、この試験の再設計を余儀なくされてきた。同じ制限時間で、Claude Opus 4はほとんどの人間の応募者を上回った。それでも最強の候補者を区別することは可能だったが、その後登場したClaude Opus 4.5は、そのようなトップ候補者にも匹敵する結果を出した。無制限の時間を与えれば人間はまだモデルを上回れるが、自宅課題の制約下では、トップ候補者の出力と最も有能なモデルの出力とを区別する方法がなくなってしまった。 筆者は現在、試験が依然として有効な情報（シグナル）をもたらすことを保証するため、自宅課題の3つのバージョンを繰り返し開発してきた。その過程で、AIの支援に対して評価を強固にする要素とそうでない要素について、新たな知見を得ている。 この記事は、最初の自宅課題の設計、各Claudeモデルがそれをどう打ち破ったか、そして自社のトップモデルの能力に対して試験が先行し続けることを保証するために取らざるを得なかった、ますます風変わりなアプローチについて説明している。彼らの仕事内容はモデルと共に進化してきたが、強力なエンジニアはまださらに必要であり、彼らを見つけるためにはますます創造的な方法が求められている。 その一環として、無制限の時間を与えれば最高の人間のパフォーマンスは依然としてClaudeが達成できるものを上回るため、最初の自宅課題を公開課題としてリリースする。もしOpus 4.5を上回ることができれば、連絡を望んでいるとしている。 2023年11月、同社はClaude Opus 3のトレーニングとローンチの準備をしていた。新しいTPUおよびGPUクラスターを確保し、大規模なTrainiumクラスターも導入予定で、アクセラレーターへの支出は過去よりも大幅に増加していたが、新しい規模に見合う十分なパフォーマンスエンジニアがいなかった。スタッフと候補者の双方にとって多大な時間を消費する標準的な面接プロセスでは評価しきれない有望な候補者をより効率的に評価する方法が必要だった。 そこで筆者は、職務の要求を適切に捉え、最も有

AI耐性のある技術評価の設計

背景や根拠まで確認しますか？

調べる

選ぶ

サイト