ページを読み込み中…
ページを読み込み中…
6件の記事
Hugging Face は、音声・画像・動画の信号を圧縮表現に変換するトークナイザー「KVAE」シリーズ（KVAE-Audio など）を開発し、テキスト条件付き生成モデルの学習速度や品質向上に寄与すると報告した。
研究者が約 1,300 個のモデルを訓練し、バイト数ベースのスケーリングが計算効率を向上させることを示した。従来の「パラメータ数あたりのトークン数」に基づく手法は特定のトークナイザーに依存しており、多言語対応にはバイト単位での調整が必要である。
AnthropicがOpus 4.7のトークン価格を前モデルと同額に据え置いたが、新しいトークナイザーにより同テキストが最大47％多くのトークンに分割されるため、実際のリクエストコストが大幅に増加していることが判明した。
研究者らが、動画モデルの効率と拡張性を向上させるため、外部パイプラインに依存しない統合型トークナイザー「TrajTok」を提案した。
Dagsterを用いたデータ取り込みの構造化、テキストコーパスの準備、モデルの世界理解を形作るトークナイザーの構築方法を説明している。
LLM-jp が事前学習や安全性を改善した LLM-jp-13B v2.0 を商用利用可能なライセンスで公開した。