モデルを大きくするな、振る舞いを整えよ — コビー・クロウフォード氏（Snorkel）

モデルを大きくするな、振る舞いを整えよ — 小規模モデルが巨大モデルを凌ぐ「ツール使用」の秘訣

AI の性能向上において、「パラメータ数を増やせば解決する」という発想はもはや通用しない。Snorkel のコビー・クロウフォード氏は、40 億パラメータの小規模モデルに強化学習（RL）と高品質な専門データを与えることで、2350 億パラメータの巨大モデルを凌ぐツール使用能力を実現した研究を発表しました。

この成果は、エンタープライズ環境におけるコスト削減、セキュリティ強化、推論速度の向上を可能にする実用的な解決策を示すだけでなく、「サイズ競争」から「振る舞いの制御」へと AI 開発のパラダイムがシフトする重要な転換点となっています。

「ハンマーでクルミを割る」モデル大型化への疑問

多くの企業は、モデルの性能不足に直面した際、即座により大きなモデルを採用する傾向があります。しかし、コビー氏はこれを「クルミを割るのに金槌を使うようなもの」と表現し、非効率であると指摘します。

大規模モデルには並外れた推論能力が備わっていますが、それは必ずしも特定の業務タスクに適しているわけではありません。例えば、金融アナリストに必要なのは、テレンス・タオ氏のような数学者の全般的な天才性ではなく、「SQL クエリを実行してデータを取得し、分析する」という具体的な振る舞いだけです。

「より大きなモデルを使えば問題が解決する」と言う人もいますが、必ずしも正解ではありません。エンタープライズ環境では、コスト、推論速度、セキュリティ、そしてオンプレミスでの完全な制御が必要となるケースが多々あります。

巨大モデルは、特定のタスクに特化した振る舞いを習得させるよりも、汎用的な知識を詰め込むことにリソースを費やしてしまいがちです。そのため、小規模モデルであっても「適切なデータ」と「正しい学習戦略」があれば、特定領域におけるツール使用能力において巨大モデルを上回ることが可能になります。

失敗の正体は「推論力不足」ではなく「振る舞いの欠如」

研究チームが検証した事例では、2350 億パラメータの量子化されたモデルが金融分析タスクで失敗する様子が確認されました。ユーザーからの質問に対し、この巨大モデルは事前調査もせず、存在しないテーブルに対して SQL クエリを投げつけます。

「既存の値を見つけるためにクエリを実行しましたが、そのクエリが対象としたのは存在しないテーブルでした。ツールを検索してどのテーブルをクエリできるか確認せず、ただクエリを投げ出しました。」

結果としてモデルは幻覚（ハルシネーション）を起こし、事実と異なる回答を生成してしまいました。これは、モデルの推論能力が不足していたからではなく、「ツールをどう使うか」という振る舞い（行動規範）を習得していなかったからです。

一方、40 億パラメータの小規模モデルは、同じ質問に対して全く異なるアプローチをとりました。まず「get_table_names」ツールを使って利用可能なテーブルを確認し、次に「get_table_info」でスキーマを検証してから SQL クエリを実行します。

「エラーに遭遇した際、モデルは自己修正を行いました。必要なカラムが見つからなかった場合、エラーを解析して修正し、正しい情報を発見するためのツール使用を学習していたのです。」

この違いが示すのは、推論力よりも「特定のタスクへの適応」という振る舞いの習得こそが鍵となるという事実です。

専門家の知見と強化学習（GRPO）による劇的改善

この小規模モデルの能力向上には、Snorkel が提唱する「専門家ループ」に基づく高品質データセットと、強化学習（RL）の組み合わせが不可欠でした。

1. 専門家が関与する高品質データセット

Snorkel では、単なるデータの自動生成に頼らず、博士号レベルの専門家や業界のベテランをループに参加させます。彼らの知見をもとに、金融分析に必要な正確なクエリやシナリオを作成します。

「専門家の貢献者と共に働き、彼らの知見を提供してもらうことで、生成されるデータが最高品質であることを確認しています。」

このプロセスにより、モデルが学習すべき「正しい振る舞い」を定義した高品質なデータセットが用意されました。特に重要なのは、単一テーブルの質問だけでなく、複数テーブルにまたがる複雑な推論を含むデータを含めることで、モデルの汎化能力も高める点です。

2. GRPO を用いた効率的な強化学習

データ準備の後、UC バークレーの RLLM チームと連携し、GRPO（Group Relative Policy Optimization）という手法を用いて強化学習を行いました。この学習プロセスは、約21時間で完了し、コストは 500 ドル未満でした。

「RL は必ずしも非常に高価な手段である必要はありません。オンプレミス型のソリューションや、より小さなモデルで対応する方法について考えている場合、これは実際に可能であるという行動への呼びかけです。」

この学習により、小規模モデルの Pass@1（一度の試行での正答率）はほぼ倍増し、2350 億パラメータのモデルを凌ぐパフォーマンスを発揮しました。驚くべきことに、単一テーブルのデータのみで訓練した方が、複数テーブルを含む複雑なタスクでも高い向上効果をもたらすという結果も得られています。

評価ルブリックで「失敗モード」を特定する

この研究のもう一つの重要な教訓は、単純な正誤判定ではなく、「評価ルブリック（詳細な評価基準）」の活用です。

モデルがどこで失敗したかを特定するためには、回答を複数の質問に分解し、各ステップでの振る舞いを細かく評価する必要があります。例えば、ツールを使用するべきか、テーブル名を確認すべきか、エラー発生時にどう修正するかといった「行動の分岐点」をルブリックとして定義します。

「最終的な正誤だけでなく、詳細な評価基準（ルブリック）を用いて失敗モードを特定し、データセットと学習戦略を最適化した。」

このアプローチにより、「ツールを使いこなす方法」こそが最大のボトルネックであることが浮き彫りになり、その根本的な失敗モードを修正することで、モデル全体の能力向上につながりました。

まとめ：サイズ競争から「振る舞い制御」へのパラダイムシフト

コビー・クロウフォード氏の研究は、AI モデルの性能向上において「サイズを大きくする」アプローチに依存せず、「振る舞いを整える」重要性を浮き彫りにしました。エンタープライズ企業にとって、オンプレミスやプライベートクラウドでの実用化を可能にするこのアプローチは、コストとセキュリティの両立を実現する重要な指針となります。

「真の問題となっている特定の振る舞いを見つけることが重要だということです。」

これからの AI 開発は、単なるパラメータ数の競争から、データ品質と振る舞い制御に注力した、より効率的で安全なシステム構築へとシフトしていくはずです。