Stanford学生が高速BPEトークナイザー「Gigatoken」公開

記事の3ポイント

1. 1

   圧倒的な処理速度の達成

   Gigatoken は AMD EPYC 環境で 24.53 GB/s、Apple M4 Max で 8.79 GB/s の処理速度を記録し、HuggingFace トークナイザーと比較して最大 989 倍の高速化を実現した。

2. 2

   独自の実装による最適化

   既存ライブラリが依存する正規表現エンジンに頼らず、手書きの状態機械と SIMD 命令を活用することで、前処理（Pretokenization）の効率を劇的に向上させた。

3. 3

   広範なトークナイザーファミリー対応

   GPT-2 や Llama 3〜4、Qwen 2〜3.6 など 23 の主要なトークナイザーファミリーをサポートし、互換性モードとネイティブモードの両方を提供している。