#トークナイザー のAIニュース
4件の記事
計算最適化トークン化(2 分読了)
研究者が約 1,300 個のモデルを訓練し、バイト数ベースのスケーリングが計算効率を向上させることを示した。従来の「パラメータ数あたりのトークン数」に基づく手法は特定のトークナイザーに依存しており、多言語対応にはバイト単位での調整が必要である。
TLDR AI·5月13日·★★★★
初のトークン数分析で明らかに:AnthropicのOpus 4.7は価格据え置きにも関わらず4.6より大幅に高コスト
AnthropicがOpus 4.7のトークン価格を前モデルと同額に据え置いたが、新しいトークナイザーにより同テキストが最大47%多くのトークンに分割されるため、実際のリクエストコストが大幅に増加していることが判明した。
The Decoder·4月19日
TrajTok:軌跡トークンの学習により動画理解が向上
研究者らが、動画モデルの効率と拡張性を向上させるため、外部パイプラインに依存しない統合型トークナイザー「TrajTok」を提案した。
Apple Machine Learning·3月17日·★★★★
Nanochatのオーケストレーション:トークナイザーの構築
Dagsterを用いたデータ取り込みの構造化、テキストコーパスの準備、モデルの世界理解を形作るトークナイザーの構築方法を説明している。
Dagster Blog·12月3日