ページを読み込み中…
ページを読み込み中…
8件の記事
カーネギーメロン大学の研究チームは、統計的・計算効率的に多期間予測を行い、変動性を低減する手法「Forking-Sequences」に関する論文と非公式な実装コードを公開した。
基盤モデルの進化に不可欠なビジョンの役割を強調し、統一型マルチモーダル事前学習におけるモダリティ間の相互作用メカニズムと設計空間を体系的に探索した実験結果を発表。
Apple Machine Learning は、トークンが各層で選択する専門家の順序を「パス」として捉える新視点を提案し、実際のトークンは言語機能に合致した限られたパスに集中していることを示した。
研究者が約 1,300 個のモデルを訓練し、バイト数ベースのスケーリングが計算効率を向上させることを示した。従来の「パラメータ数あたりのトークン数」に基づく手法は特定のトークナイザーに依存しており、多言語対応にはバイト単位での調整が必要である。
研究チームが、マルチモーダル事前学習のための計算効率的なデータ混合最適化フレームワーク「MixAtlas」を提案した。従来の単一視点の手法を超え、不確実性を考慮した混合最適化により、サンプル効率と下流タスクの汎化性能を向上させる。