#計算効率のAIニュース

6件の記事

計算最適化トークン化（2 分読了）

研究者が約 1,300 個のモデルを訓練し、バイト数ベースのスケーリングが計算効率を向上させることを示した。従来の「パラメータ数あたりのトークン数」に基づく手法は特定のトークナイザーに依存しており、多言語対応にはバイト単位での調整が必要である。

研究チームが、マルチモーダル事前学習のための計算効率的なデータ混合最適化フレームワーク「MixAtlas」を提案した。従来の単一視点の手法を超え、不確実性を考慮した混合最適化により、サンプル効率と下流タスクの汎化性能を向上させる。

メタはマルチモーダル推論モデル「Muse Spark」を公開した。ツール使用やビジュアル思考、マルチエージェント調整機能を備え、Llama 4 より計算資源を10倍以上節約。meta.aiで利用可能で、将来的なオープンソース化も計画している。

トランスフォーマーモデルに複数の専門家ネットワークを組み合わせるMoE手法を紹介。効率的な計算と高性能化を実現する技術で、大規模AIモデルの開発に寄与。

Microsoft Researchは最適化専門の小型言語モデル「OptiMind」を開発し、新手法で大小規模言語モデルの推論性能を向上させた。

Amazonは、推論モデルが単純なタスクで必要量の7〜10倍のトークンを生成し、大規模運用で持続不可能なコストが発生する「過剰思考問題」を指摘。メタ認知AIの構想により、計算リソースの配分方法を根本的に変革する可能性を示した。