#トークナイザーのAIニュース

4件の記事

計算最適化トークン化（2 分読了）

研究者が約 1,300 個のモデルを訓練し、バイト数ベースのスケーリングが計算効率を向上させることを示した。従来の「パラメータ数あたりのトークン数」に基づく手法は特定のトークナイザーに依存しており、多言語対応にはバイト単位での調整が必要である。

AnthropicがOpus 4.7のトークン価格を前モデルと同額に据え置いたが、新しいトークナイザーにより同テキストが最大47％多くのトークンに分割されるため、実際のリクエストコストが大幅に増加していることが判明した。

研究者らが、動画モデルの効率と拡張性を向上させるため、外部パイプラインに依存しない統合型トークナイザー「TrajTok」を提案した。

Dagsterを用いたデータ取り込みの構造化、テキストコーパスの準備、モデルの世界理解を形作るトークナイザーの構築方法を説明している。