#allen ai のAIニュース
16件の記事
ハイブリッドモデルはどのトークンをより正確に予測するか？
Allen AI は Olmo 3 と Olmo Hybrid の分析により、ハイブリッドモデルが意味を持つ文脈依存トークンの予測でトランスフォーマーを上回り、一方トランスフォーマーは逐語的コピーにおいて優位性を維持することを示した。
MolmoMotion：言語指示に基づく 3D モーション予測モデルの公開
Allen AI は、物体の未来の動きを予測するオープンソースの言語ガイド付き 3D モデル「MolmoMotion」を発表した。この技術はロボット工学や動画生成など、次なる出来事を推論するシステムにおける運動予測能力を強化する。
OLMO-EVAL：モデル開発ループのための評価ワークベンチ
Allen AI（AI2）は、大規模言語モデルの開発プロセスを支援するオープンソースの評価ワークベンチ「OLMO-EVAL」を発表した。これは最終スコアの再現性から日常の開発ループへと拡張されたものであり、開発者が異なるチェックポイント間でベンチマークの追加・実行・分析を容易に行えるように設計されている。
OlmoEarth v1.1：より効率的なリモートセンシングモデルファミリーの登場
Allen AI は、計算コストを最大 3 分の 1 に削減しつつ同等のパフォーマンスを維持する「OlmoEarth v1.1」を発表し、大規模衛星マッピングを高速化・低コスト化した。
AI 気候モデルの相互比較プロジェクト「AIMIP」を発表
新オープンベンチマーク「AIMIP」が、AI 気候モデルが一部の歴史的指標で従来型モデルに匹敵または上回ることを示したが、長期的な温暖化傾向や未知のシナリオへの一般化には依然として課題がある。
エキスパートモデルにおける突発的モジュール性の発見
アレンAIが、事前学習データから直接モジュール化されたエキスパート組織を学習する「EMO」を発表した。このモデルは、全性能を維持しつつタスク実行に必要となるエキスパート数を全体の12.5%に削減できる。
EMO：データからモジュール型専門家が自然発生的に出現する事前学習混合専門家モデル
Google が「EMO」と呼ぶ新しい混合専門家モデルを開発し、データからタスク固有の専門家グループが自律的に形成される仕組みを実現した。これにより、ユーザーは全モデル性能を維持しつつ、小規模な専門サブセットを選択して利用できるようになる。
実世界で動作するロボットのためのオープン基盤「MolmoAct 2」の発表
AI研究所が、実世界のロボットタスクにおける高速かつ強力な 3D 行動推論を実現する完全オープン型のロボティクス基盤モデル「MolmoAct 2」と、二足歩行操作のための大規模データセットを公開した。
Ai2 の次なる展開：暫定 CEO ピーター・クラークに聞く
Ai2 の暫定 CEO ピーター・クラークが、同機関のオープンサイエンスへのコミットメントと今後の方向性について語った。
OlmPool：小さなアーキテクチャの選択が長文コンテキスト拡張を阻害する仕組み
研究者らは26モデルからなる制御されたスイート「OlmPool」を作成し、学習データや拡張レシピを一定に保った場合でも、アーキテクチャ上の微小な選択が積み重なることで長文コンテキストの拡張が困難になることを示した。
OlmoEarth埋め込みの紹介：下流分析用のカスタム埋め込みエクスポート
OlmoEarth Studioは、基盤モデルからカスタム地球観測埋め込みをエクスポートし、類似度検索や変化検出などのタスクに利用可能にした。
個別訓練、統合結合：Mixture-of-Expertsを用いたモジュール化ポストトレーニング
Google ResearchはBAR手法を提案した。これは言語モデルの能力ごとにドメイン専門家を独立して訓練し、単一のMoEモデルに統合するプロセスである。この手法により、特定の専門家のアップグレードが他の専門家に影響を与えずに行える。
WildDet3Dの紹介：単一画像からのオープンワールド3D検出
WildDet3Dは、単一画像から3次元バウンディングボックスを予測するオープンモデルである。カメラや物体カテゴリに汎化し、深度信号を活用する新データセットを含む。
MolmoWeb：ウェブタスクを自動化するオープンエージェント
MolmoWebは、スクリーンショットのみでブラウザを操作しタスクを完了するオープンな視覚ウェブエージェントです。また、同様のエージェントの学習に使用される最大規模の公開データセット「MolmoWebMix」も同時に公開されました。
MolmoBot：シミュレーションのみで学習するロボット操作モデル
MolmoBotは、シミュレーション環境のみで学習されたオープンソースのロボット操作モデルスイートです。実世界データの収集や微調整を行わずとも、ゼロショットで実機への転移を実現します。
Olmo Hybridの発表：トランスフォーマーと線形RNNを組み合わせ、優れたスケーリングを実現
AI2は7Bパラメータの完全オープンモデル「Olmo Hybrid」を発表した。トランスフォーマーの注意機構と線形RNN層を融合し、純粋なトランスフォーマーモデル相比、表現力とデータ・計算効率を大幅に向上させた。