企業向けリクエスト対応を強化した自己ホスト型 LLM の構築手法

データ所在地の制約により、企業は LLM のセルフホスティングを余儀なくされていますが、新しいモデルを継続的に採用しながらも旧モデルを廃止しないことで、提供フェリートの規模が拡大し、限られた GPU リソースが分断されるという課題が生じます。私たちは、生産環境でのエラー分析を通じて特定された「指示の遵守」「関数呼び出し」「内部タスクの配分」という 3 つの軸における品質格差を埋めることで、200 を超える社内アプリケーションからのトラフィックを単一のモデルに集約しました。

品質は、生産トラフィックを層別化したオフラインベンチマークで追跡され、決定論的な検証器または較正済みの LLM 判定者によってスコアリングされます。すべての目的を同時に最適化するとドメイン間の報酬干渉を引き起こすため、各軸ごとに独立した GRPO エキスパートを訓練し、2 段階の SLERP を用いて統合しています。

各エキスパートの報酬は、それぞれ固有の失敗モードを露呈させます。具体的には「意味の崩壊」「過剰な関数呼び出し」「冗長性の悪用」であり、これらにはドメイン固有の対策が必要です。

推論モードではない場合、この手法は社内 Arena において総パラメータ数が約 7 倍のベースラインモデルを上回ります（スコア：69.6 vs 65.8）。また、指示の遵守では 0.85 に、関数呼び出しでは 0.79 に達し、一般的な対話ベンチマークでも性能を向上させました。

このモデルはプラットフォームトラフィックの 50% を吸収し、月間 1.16 億件のリクエストを処理しながらも、提供コストは従来比で大幅に削減されています。