腾讯エンジニア：大規模モデルの出力を確定させるための AI インフラ手法

記事の3ポイント

1. 1

   バッチ処理による出力不整合の発生メカニズム

   同一環境・提示詞でも他リクエストが存在すると出力が変わる現象は、情報汚染ではなく、システムが訪存遅延を隠すために非決定性のハードウェア並列最適化を実行した結果である。

2. 2

   浮動小数点演算の結合律不成立と精度劣化

   浮動小数点加算は結合律を満たさないため、演算順序が変化すると最終的な丸め誤差が異なり、結果として数値やモデル出力に差異が生じる。

3. 3

   IEEE 754標準における丸め規則の影響

   FP16形式では特定の条件下で中間計算結果が正中間値となり「偶数への丸め」ルールが適用されるため、意図しない数値の跳ね返りが発生する。