タスク忠実度スケーリング法則 — コビー・クロフォード氏（Snorkel）

• Snorkelresearcher
• OpenAImodel_provider

1. 01

   タスク忠実度の定義

   コンテナ化された環境での再現性、論理の正しさ、非自明性、環境の信頼性の 4 つの基準でタスク品質を評価する。

2. 02

   高品質タスクの実証

   高品質タスクはツール呼び出しやトークン使用量が多く、より困難な課題を示し、モデルに有益な学習シグナルを提供する。

3. 03

   5 倍の性能差

   高品質データを用いた強化学習では 6% の性能向上が見られたが、低品質データでは 1% にとどまり、質の重要性を証明した。

4. 04

   失敗モードの分析

   環境的な欠陥による無意味な失敗と、タスク自体の難易度による論理的失敗を区別し、後者が学習に有効であることを示す。

この研究は、AI エージェントの開発において「大量のデータ収集」から「厳格な品質管理と検証」へのパラダイムシフトを促します。企業や開発者は、トレーニングセットの規模拡大よりも、タスク定義の忠実度向上にリソースを集中させることで、より効率的かつ強力な AI エージェントを構築できるようになります。