MixAtlas: マルチモーダルLLM事前学習のための不確実性を考慮したデータ混合最適化
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Apple Machine Learning
研究チームが、マルチモーダル事前学習のための計算効率的なデータ混合最適化フレームワーク「MixAtlas」を提案した。従来の単一視点の手法を超え、不確実性を考慮した混合最適化により、サンプル効率と下流タスクの汎化性能を向上させる。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
本論文は、ICLR 2026にて開催された「基盤モデルのデータ問題のナビゲーションと対応に関するワークショップ（NADPFM）」で採択されました。
理論的に裏付けられたドメイン再重み付け（domain reweighting）は、サンプル効率と下流タスクへの汎化性能を大幅に向上させる可能性があります。しかし、マルチモーダル事前学習（multimodal pretraining）におけるデータ混合比の最適化は依然として研究が不足しています。現在のマルチモーダル学習レシピ（training recipes）は、データ形式やタスク種別といった単一の視点から混合比を調整するに留まっています。私たちは、体系的なドメイン分解（domain decomposition）と小さなプロキシモデル（proxy models）を用いた計算効率の高いマルチモーダル混合比最適化のための原理に基づくフレームワーク「MixAtlas」を紹介します…
原文を表示
This paper was accepted at the Workshop on Navigating and Addressing Data Problems for Foundation Models (NADPFM) at ICLR 2026.
Principled domain reweighting can substantially improve sample efficiency and downstream generalization; however, data-mixture optimization for multimodal pretraining remains underexplored. Current multimodal training recipes tune mixtures from only a single perspective such as data format or task type. We introduce MixAtlas, a principled framework for compute-efficient multimodal mixture optimization via systematic domain decomposition and smaller proxy models…
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み