計算最適化トークン化（2 分読了）
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TLDR AI
研究者が約 1,300 個のモデルを訓練し、バイト数ベースのスケーリングが計算効率を向上させることを示した。従来の「パラメータ数あたりのトークン数」に基づく手法は特定のトークナイザーに依存しており、多言語対応にはバイト単位での調整が必要である。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
著者: *Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer* 論文: https://arxiv.org/abs/2605.01188v1 コード: https://co-tok.github.io
何を行ったのか? 著者らは、約 1,300 のモデルを訓練することで情報粒度（トークンあたりのバイト数）が最適な計算リソース配分にどう影響するかを解明し、圧縮率を考慮したニューラルスケーリング則を体系的に導出しました。
なぜ重要なのか? この研究は、「パラメータあたり 20 トークン」という広く受け入れられているヒューリスティックが、特定のサブワードトークナイザーに特有の産物であることを証明しています。バイト数に基づくトークナイザー非依存のスケーリング則を確立することで、多様な言語やモダリティ全体で計算効率を最大化するための堅牢な枠組みを提供します。
エグゼクティブサマリー: 大規模事前学習ランを最適化する研究チームにとって、トークナイズスキームはしばしば静的な前処理ステップとして扱われます。本論文では、これを動的なスケーリング変数として再定義しています。「圧縮率」（情報密度）を最適化することで、著者らは訓練データがモデルパラメータに対して「トークン」ではなく「バイト」で比例してスケールすべきであることを示しました。さらに、最適な圧縮率は計算リソースに依存し、FLOP（浮動小数点演算数）予算が増大するほど圧縮率を低下させる必要があることを明らかにし、極めて効率的な大規模多言語ファウンデーションモデルの訓練のための新たな青写真を提供します。
ファウンデーションモデルのスケーリングは、確立されたスケーリング法則によって主に支配されており、特に Training Compute-Optimal Large Language Models（Chinchilla）で導出されたヒューリスティックが有名です。これは、モデルパラメータあたり約 20 トレーニングトークンという最適な比率を仮定しています。しかし、このヒューリスティックには決定的な盲点があります。それは固定されたトクナイゼーションスキームへの依存です。データ量を厳密にトークン数で表現することは、各トークンが表す可変的な情報密度を無視することになり、本質的に基本的なスケーリング挙動を、バイトペアエンコーディング（BPE: Byte-Pair Encoding）トクナイザーの任意のメカニズムに縛り付けてしまいます。本研究では、トクンを変数として分離することで、スケーリング挙動における真の不変量を特定し、人気のあるトクナイザーが計算割り当てをどの程度歪曲しているかを明らかにします。
原文を表示
Authors: *Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer*Paper: https://arxiv.org/abs/2605.01188v1Code: https://co-tok.github.io
WHAT was done? The authors systematically derived compression-aware neural scaling laws by training nearly 1,300 models to determine how information granularity (bytes per token) impacts optimal compute allocation.
WHY it matters? This work proves that the widely accepted heuristic of scaling models by 20 tokens per parameter is an artifact of specific subword tokenizers. Establishing a tokenizer-agnostic scaling law based on bytes provides a robust framework for maximizing compute efficiency across diverse languages and modalities.
Executive summary: For research teams optimizing large-scale pre-training runs, the tokenization scheme is often treated as a static preprocessing step. This paper reframes tokenization as a dynamic scaling variable. By optimizing the “compression rate” (information density), the authors demonstrate that training data should scale proportionally to model parameters in *bytes*, not tokens. Furthermore, they reveal that the optimal compression rate is compute-dependent, requiring lower compression as FLOP budgets scale up, thus offering a new blueprint for training highly efficient, massively multilingual foundation models.
Foundation model scaling is largely governed by established scaling laws, most notably the heuristic derived in Training Compute-Optimal Large Language Models (Chinchilla), which posits an optimal ratio of approximately 20 training tokens per model parameter. However, a critical blind spot in this heuristic is its reliance on a fixed tokenization scheme. Expressing data volume strictly in tokens ignores the variable information density that each token represents, essentially binding fundamental scaling behavior to the arbitrary mechanics of Byte-Pair Encoding (BPE) tokenizers. This study isolates the token as a variable to identify the true invariant in scaling behavior, exposing the extent to which popular tokenizers inherently skew compute allocation.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み