Defeating Nondeterminism in LLM Inference｜LLM推論における非決定性の克服

**大規模言語モデル推論における非決定性の克服** 科学的進歩の基盤である再現性は、大規模言語モデル（LLM）から一貫した結果を得る上で重大な課題に直面している。例えば、ChatGPTに同じ質問を繰り返しても異なる回答が得られることがある。これは、LLMの出力が確率分布に変換され、トークンが確率的に選択される「サンプリング」プロセスによるもので、温度パラメータを0に設定し（貪欲サンプリング）、理論的には決定論的に最高確率トークンを選ばせても、実際には非決定性が残る。これはAPIサービスだけでなく、vLLMやSGLangのようなオープンソース推論ライブラリを自前のハードウェアで実行する場合でも同様である。 この非決定性の原因について、広く支持されている仮説は「並行処理と浮動小数点演算の組み合わせ」である。GPUにおける浮動小数点演算は非結合性（(a + b) + c ≠ a + (b + c)）を示し、Transformerアーキテクチャの注意スコアやロジット計算において、並行実行されるスレッドの処理順序の違いが微小な結果の差を生み、それが累積して出力のばらつきを引き起こすと説明される。この見解は多くの技術議論で繰り返し言及されている。 しかし、この仮説だけでは完全な説明とはならない。なぜなら、同じGPU上で同じデータを用いた単純な行列乗算を繰り返し実行すると、ビット単位で完全に同一の結果が得られるからである。つまり、浮動小数点演算と並行処理が存在する環境下でも、特定の条件下では決定性が保たれる。 記事は、LLM推論の非決定性の真の原因を探るため、この矛盾を出発点としている。単なる「並行処理＋浮動小数点」仮説を超えて、モデル推論における具体的な計算グラフやアルゴリズムの実装レベルに潜む要因を明らかにする必要性を示唆している。再現性の確保は、LLMの科学的検証、デバッグ、製品への統合において極めて重要であり、その基盤となる決定性を実現するためには、表面的に語られがちな説明ではなく、根本的なメカニズムの解明が不可欠であると論じている。

LLM推論における非決定性の克服

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト