vLLM V0 から V1 へ：RL における修正前の正しさの重要性（8 分読了）
vLLM V1 の更新により、ログプロバビリティ計算や重み更新の整合性が修正され、強化学習（RL）トレーニングにおける推論精度とパフォーマンスが確保されました。
キーポイント
計算精度の不整合解消
ログプロバビリティの計算方法や最終投影層の fp32 処理を見直すことで、vLLM V0 との整合性を回復し、トレーニングミスマッチを解決しました。
RL トレーニング環境の最適化
プレフィックスキャッシュの無効化やインフライト重み更新のモデルマッチングを行い、強化学習における期待されるパフォーマンスを維持するよう調整されました。
正しさ優先のアプローチ
新エンジン（V1）が初期のトレーニングミスマッチを修正し、不必要な目的関数側の補正なしに正しい動作を行うことを保証しています。
影響分析・編集コメントを表示
影響分析
この更新は、大規模言語モデルの強化学習（RL）トレーニングにおいて、推論エンジンと学習アルゴリズム間の微妙な不整合が引き起こすパフォーマンス低下や不安定性を解消する重要な一歩です。開発者は、vLLM V1 を使用することで、より安定した環境で RL トレーニングを実施でき、モデルの収束速度や最終的な性能向上に寄与することが期待されます。
編集コメント
vLLM の次世代バージョンにおける RL トレーニングの安定性確保は、実運用レベルでの大規模モデル学習において極めて重要な課題です。今回の修正により、開発者はより信頼性の高い推論基盤で強化学習実験を行えるようになります。
vLLM V1 のアップデートは、logprob 計算の不一致、ランタイムデフォルト、実行中の重み更新、最終投影精度の問題に対処することで推論の正しさを改善しました。主な修正には、処理済みの logprobs の調整、プレフィックスキャッシュの無効化、重み更新モデルの整合性確保、vLLM V0 の動作と合わせるための fp32 lm_head 計算の実装が含まれます。これらの変更により初期トレーニングの不整合が解消され、新しいエンジンが不要な目的関数側の修正なしに期待される RL パフォーマンスを維持することが保証されました。
原文を表示
The vLLM V1 update improved inference correctness by addressing discrepancies in logprob computation, runtime defaults, inflight weight updates, and final projection precision. Key fixes included adjusting processed logprobs, disabling prefix caching, matching weight update models, and ensuring fp32 lm_head computation to align with vLLM V0's behavior. These changes resolved initial training mismatches, ensuring the new engine maintains expected RL performance without unnecessary objective-side corrections.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み