LLM 後期学習のデータ・環境キュレーション — Bespoke Labs マヘシュ・サティヤモorthy氏

LLM 後期学習の真のボトルネックは「計算資源」ではなく「データと環境」だ——Bespoke Labs CEO が語る、AI エージェント自律性の秘密

生成 AI の進化において、モデルの評価基準が「知識の有無」から「自律的な実行能力」へとシフトしています。しかし、AI エージェントを長時間安定して動かすための鍵は、計算資源の拡大ではなく、高品質な合成データと RL 環境の質的向上にあると、Bespoke Labs の CEO マヘシュ・サティヤモorthy氏は指摘します。

「知る」から「実行する」へ：評価パラダイムの転換

AI モデルの評価基準は大きく変化しました。かつては STEM や人文科学などの知識を問うベンチマークが主流でしたが、現在は AI エージェントが実際にタスクを完遂できるかを測る指標が重視されています。

「最終的に重要なのは、エージェントが数時間、数日、あるいは数週間という長期にわたり自律的に動作し続けられるかどうかです。その際、最も大きな課題となるのは『信頼性』です」

サティヤモorthy氏によれば、エージェントの自律性を阻む最大の要因は、ツールの誤使用や計算ミスなどによる「信頼性の欠如」です。これを解決する手段として、プロンプト調整やツールハッチの改善も有効ですが、後期学習（Post-training）によってモデル自体の能力を底上げすることが最も効果的なアプローチとなります。

企業の参入障壁はインフラではなく「高品質データ」の不足

現在、後期学習に必要な計算資源やインフラは整いつつあります。Fireworks AI や Tinker、Slime World などのプロバイダーが存在し、モデル自体も十分に成熟しています。しかし、企業や研究機関が直面する最大のボトルネックは、SFT（Supervised Fine-Tuning）や RL（Reinforcement Learning）に使用する高品質なデータと RL 環境の不足です。

「計算資源やインフラは整備されつつありますが、SFT や RL における高品質なデータと RL 環境の不足が最大の課題であり、これが企業の参入障壁となっています」

サティヤモorthy氏は、データ作成者と研究者の間には微妙なズレがあるとも指摘します。データをキュレーションする側も、同時に研究者の視点を持ち、「どのようなデータがモデルのパフォーマンスを向上させるか」を意識して作業を行うことが重要だと説きます。

Open Thoughts が明らかにした「反直感的」な学習レシピ

Bespoke Labs は、この課題解決のために「Open Thoughts」というオープンソースプロジェクトを主導しています。これは、推論能力を持つモデルのためのデータセットであり、キュレーションのレシピ（手順）を体系化したものです。同社の研究から得られた知見の中には、直感に反する効果的な手法がいくつか含まれています。

1. 1 つの質問に複数の回答を生成させる

一般的には「より多くの異なる質問」を集める方が良さそうに思われますが、Open Thoughts の実験では「1 つの質問に対して、モデルから複数の回答（例：16 通り）を生成させる手法」が学習の多様性を高め、結果的に性能向上につながることが判明しました。

これは、異なる推論プロセスや思考経路をモデルに学ばせることで、汎用性と柔軟性が向上するためです。SFT の過程で推論トレース（思考の連鎖）を利用する際、この多様性が特に効果を発揮します。

2. 「強力な教師モデル」が必ずしも優れているわけではない

もう一つの驚くべき発見は、「より高性能なモデルほど優れた教師モデルになる」とは限らないという点です。実験の結果、Claude モデルよりも特定の Qwen モデルの方が、推論データ生成の教師として有効だったケースがありました。

また、合成質問の生成や回答のフィルタリングなど、直感的に効果がありそうな手法が必ずしも成功するわけではなく、各工程をアブレーション（比較実験）で検証し、最適なレシピを組み立てるプロセスが不可欠であることも示されています。

実用化への道：SFT の意外な威力とコンプライアンス対応

Open Thoughts Agents では、エージェントのトレーニングデータと RL 環境のカキュレーションに同様のアプローチが取られています。しかし、企業の実務においては、計算コストのかかる RL よりも、SFT（教師あり微調整）の方が多くのケースで十分な効果をもたらすことが確認されています。

「RL は最後の数パーセントを伸ばすには非常に有効ですが、多くの実務シーンでは SFT だけで劇的な改善が見込めます」

さらに、サティヤモorthy氏は、コンプライアンス対応のためのタグ付与手法など、実環境でのデプロイに向けた具体的な工夫にも言及しています。後期学習は単にベンチマークのスコアを上げるためだけでなく、レイテンシの削減やコスト効率の向上、そして企業固有の要件への適合といった実用的な価値も提供します。

まとめ

AI エージェントの実用化において、モデルサイズや計算資源の拡大競争よりも、「データと環境の質的向上」こそが真の鍵となります。Open Thoughts などのオープンソースアプローチが普及することで、中小企業や研究機関でも高品質な後期学習が可能になり、業界全体の技術水準が底上げされる未来が期待されます。