企業への継続学習導入へ — Applied Compute のサミュエル・デントン氏

正解ラベル不要の継続学習：企業 AI が「失敗」から自ら学ぶための新フレームワーク

Applied Compute のサミュエル・デントン氏は、大規模言語モデル（LLM）を企業の生産環境で持続的に改善するための新たなアプローチを発表しました。その核心は、完璧な正解ラベルやルブリックを必要とせず、既存の運用データと動的に生成されるヒントを活用して、モデルが自ら学習する「知識蒸留スペクトラム」を構築することです。

継続学習を「スペクトラム」と捉える視点

従来の継続学習は、オフラインでのバッチ処理か、完全なオンラインサイクルかの二者択一に見られがちでした。しかしデントン氏は、これを連続的なスペクトラムとして再定義します。

スペクトラムの左端にあるのは「オフライン蒸留」です。これは、過去に収集された単一の生産環境データ（トレーサ）をバッチ処理し、そこで起きた失敗やミスを分析してモデルを更新する手法です。多くの企業が現在この段階にいます。

一方、右端には「完全オンライン蒸留」があります。ここでは推論と学習が統合され、モデルが生産トラフィックを処理しながらその結果（トレーサ）に基づき即座にヒントを生成し、モデル自体を更新するという「フルフライホイール」を実現します。

「Applied Compute の目標は、企業がどの段階にあっても価値を提供することです。オフラインのデータから改善を開始し、最終的にはオンラインでの継続的な性能向上サイクルへと移行できる枠組みを提供します。」

このアプローチにより、企業は即座に改善可能なオフライン処理と、将来的な自動化を可能にするオンライン学習の両端をカバーできます。

4 つの象限で見る「ヒント」の役割

蒸留プロセスをさらに細分化するために、デントン氏は「データの性質（オフライン/オンライン）」と「ヒントの生成方法（静的/動的）」という 2 つの軸を用いた 4 象限モデルを提案しました。

1. オフライン・ヒント × オフライン・データ: 過去の失敗事例や既知の行動指針（例：カスタマーサポートで安易な返金を行わないよう）といった静的なルールをヒントとして、過去データのバッチ処理に適用します。特定の動作を修正したい場合に有効です。
2. オフライン・ヒント × オンライン・データ: 静的なルールをヒントとして注入しつつ、オンラインモデルのロールアウトデータを学習に使います。
3. オンポリシー・ステップ × オフライン・データ: 過去のオフラインデータから特定の一歩だけを選び出し、その瞬間にオンポリシー（現在のモデル）で推論を行ってヒントを生成します。
4. オンライン・ヒント × オンライン・データ: これが最もスケーラブルな手法です。モデルが生産環境で動作した完全なロールアウトに基づき、動的にヒントを生成して学習を行います。

Applied Compute の研究は全象限に及んでいますが、特に第 1 象限（オフライン・ヒント/データ）と第 4 象限（オンライン・ヒント/データ）に注力しています。前者は即効性のある改善に、後者は自動化された継続的な性能向上に寄与します。

「正解ラベル」が不要な現実的な学習

多くの蒸留研究では、モデルの出力を評価するための「ゴールデンアンサー（正解）」や詳細なルブリックが存在することを前提としています。しかし、実際の企業環境では、すべてのタスクに対して完璧な正解ラベルを用意することは不可能です。

デントン氏はこの課題に対し、「正解ラベルがなくても学習できる」という解決策を提示します。重要なのは、モデルが実際に実行したステップ（オンポリシー・ステップ）に基づいて動的にヒントを生成することです。これにより、既存の生産データと行動指針のみで効果的な蒸留が可能になります。

オンポリシー・ヒントがもたらす劇的な変化

この「動的なヒント」の有効性は、具体的な実験データによって証明されました。リンクフォーマット（特定の形式での回答）に対するフィードバックにおいて、静的な手法よりもオンポリシー・ヒントを用いた場合の成功率が15% から 80%へと劇的に向上しました。

これは、モデルが実際に失敗したステップや推論プロセスを分析し、それに基づいて「次はどうすべきか」というヒントを動的に生成することで、学習信号が最適化されるためです。また、LLM ジュード（評価用 AI）による関連トークンの選択（リレバンスマスク）を採用することで、学習信号を絞り込み、モデルの性能が壊滅的に劣化する「カタストロフィック・フォアゲッティング」を防ぐ工夫もなされています。

まとめ：自動化された改善サイクルへの道

Applied Compute の提案するフレームワークは、高品質な正解ラベルへの依存から脱却し、実運用データを直接活用してモデルを継続的に進化させる現実的な道筋を示しています。企業にとっては、AI エージェントの性能向上サイクルを自動化し、セキュリティやコンプライアンス違反などの特定動作を迅速に修正できる基盤技術として機能する可能性があります。