凍結されたマルチトークン予測を用いたPixel上でのGemini Nanoモデルの高速化

Gemini Nano や Gemma といったモデルにより、ポケットの中に強力な大規模言語モデルを収めることが可能になりました。これらのモデルをモバイルデバイス上で提供することは大きな課題でした。Google は、既存の「凍結」された Gemini Nano v3 モデルにマルチトークン予測（Multi-Token Prediction）を組み込む新しいアーキテクチャを構築し、ボトルネックを克服しました。この新たなアーキテクチャコンポーネントは、特にモバイル環境における効率性の向上を最大化するように設計されています。本記事では、Google の研究チームがエッジコンピューティングの持つ独自かつ極限的な制約にどのように取り組んだかを紹介しています。