Carnegie Mellon at ICLR 2026｜カーネギーメロン大学、ICLR 2026に194論文を発表

CMUの研究者らは、4月23日から4月27日までブラジル・リオデジャネイロのリオコンベンション＆イベントセンターで開催される第14回国際学習表現会議（ICLR 2026: International Conference on Learning Representations）で194本の論文を発表します。以下は、当研究室の研究者が取り組んでいる分野の概要です： ![image](https://blog.ml.cmu.edu/wp-content/uploads/2026/04/image-7.png) 以下は、最も頻繁に共同研究を行っている機関です： ![image](https://blog.ml.cmu.edu/wp-content/uploads/2026/04/image-8.png) 目次 口頭発表論文 ポスター発表論文 アプリケーション コンピュータビジョン（Computer Vision） ディープラーニング（Deep Learning） 汎用機械学習（General Machine Learning） 最適化（Optimization） 強化学習（Reinforcement Learning） 社会的側面（Social Aspects） 理論（Theory） カテゴリ未分類（Uncategorized） 口頭発表論文 EditBench：LLMの現実世界における指示付きコード編集能力の評価 著者：Wayne Chi（CMU）、Valerie Chen（Carnegie Mellon University）、Ryan Shar（Apple）、Aditya Mittal（CMU、Carnegie Mellon University）、Jenny Liang（School of Computer Science, Carnegie Mellon University）、Wei-Lin Chiang（UC Berkeley / LMSYS）、Anastasios Angelopoulos（University of California Berkeley）、Ion Stoica（）、Graham Neubig（Carnegie Mellon University）、Ameet Talwalkar（University of California-Los Angeles）、Chris Donahue（CMU / Google DeepMind） 本研究では、EditBenchという新しいベンチマーク（benchmark）を紹介しています。これは、AIモデルがユーザーの指示に基づいて既存のコードをどの程度編集できるかをテストするためのものです。以前のベンチマークとは異なり、周囲のコードやカーソルの位置など、実際のコーディングタスクとコンテキスト（context）を使用しています。このベンチマークには545の多様な問題が含まれており、その結果、ほとんどのモデルが苦戦していることが示されました。性能が高いのは限られた数だけです。また、より現実的なコンテキストを備えることがモデルの性能に大きな影響を与えることも判明しており、現実世界の環境におけるコード編集の評価の重要性が浮き彫りになりました。 UALM: Unified Audio Language Model for Understanding, Generation and Reasoning Authors: Jinchuan Tian (CMU, Carnegie Mellon University), Sang-gil Lee (NVIDIA), Zhifeng Kong (NVIDIA), Sreyan Ghosh (Nvidia), Arushi Goel (NVIDIA), Chao-Han Huck Yang (NVIDIA Research), Wenliang Dai (NVIDIA), Zihan Liu (Nvidia), Hanrong Ye (NVIDIA), Shinji Watanabe (Carnegie Mellon University), Mohammad Shoeybi (NVIDIA), Bryan Catanzaro (NVIDIA), Rafael Valle (NVIDIA), Wei Ping (Nvidia) 本論文は、音声理解（audio understanding）、テキストから音声への生成（text-to-audio generation）、マルチモーダル推論（multimodal reasoning）を単一のモデルで処理するように設計された「Unified Audio Language Model（UALM）」を紹介する。これらのタスクを個別に扱うのではなく、UALMは音声の解釈と生成の両方を学習し、専門的な最先端モデル（state-of-the-art models）に匹敵するパフォーマンスを達成している。また著者らは、推論プロセス（reasoning process）中にテキストと音声を組み合わせることで、複雑なタスクへの対応能力が向上することも示している。全体として、この研究は言語と音声を跨いで推論できるより汎用的なAIシステムへの一歩を示すものとなっている。 Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents Authors: Yueqi Song (CMU), Ketan Ramaneti (Amazon), Zaid Sheikh (Carnegie Mellon University), Ziru Chen (Ohio State University, Columbus), Boyu Gou (Ohio State University, Columbus), Tianbao Xie (the University of Hong Kong, University of Hong Kong), Yiheng Xu (University of Hong Kong), Danyang Zhang (Shanghai Jiao Tong University), Apurva Gandhi (Carnegie Mellon University), Fan Yang (Fujitsu), Joseph Liu (School of Computer Science, Carnegie Mellon University), Tianyue Ou (Carnegie Mellon University), Zhihao Yuan (Carnegie Mellon University), Frank F Xu (Carnegie Mellon University), Shuyan Zhou (Facebook), Xingyao Wang (All Hands AI), Xiang Yue (Carnegie Mellon University), Tao Yu (University of Hong Kong), Huan Sun (Ohio State University), Yu Su (Ohio State University), Graham Neubig (Carnegie Mellon University) 本研究は、AIエージェント（AI agents）のトレーニングデータ（training data）を表現するための標準化されたフォーマットである「Agent Data Protocol（ADP）」を紹介する。著者らは、主な課題がデータの不足にあるのではなく、既存のデータセット（datasets）が異なるフォーマットやツールに断片化されていることだと主張する。ADPは共通の「インターリンガ（interlingua）」として機能し、コーディング、ブラウジング、ツール使用といった多様なデータソースを単一のトレーニングパイプライン（training pipeline）に統合しやすくする。13のデータセットをこの統一フォーマットに変換することで、著者らは統合データを基に学習したモデルがパフォーマンスを向上させることを示している。 MotionStream: Real-Time Video Generation with Interactive Motion Controls Authors: Joonghyuk Shin (Seoul National University), Zhengqi Li (Google), Richard Zhang (Adobe), Jun-Yan Zhu (Carnegie Mellon University), Jaesik Park (Seoul National University), Eli Shechtman (Adobe), Xun Huang (Adobe Research) この論文では、MotionStreamというシステムを紹介しています。これはモーションとテキスト入力に基づいて動画をリアルタイム（real-time）に生成するシステムです。動画の生成に数分を要する従来の手法とは異なり、MotionStreamは単一のGPU上で最大29フレーム/秒（fps）で結果をストリーミングできます。鍵となるアイデアは、長時間のシーケンスにおける品質劣化を防ぐ手法を用いて、動画を連続的に生成できる高速な因果モデル（causal model）を訓練することです。その結果、ユーザーは経路の描画やカメラ移動といったモーションをインタラクティブに制御でき、動画が即座に更新される様子を確認できます。 OpenThoughts: Data Recipes for Reasoning Models 著者: Etash Guha (Stanford University, Anthropic), Ryan Marten (Harbor), Sedrick Keh (Toyota Research Institute), Negin Raoof (University of California, Berkeley), Georgios Smyrnis (University of Texas, Austin), Hritik Bansal (University of California, Los Angeles), Marianna Nezhurina (Juelich Supercomputing Center, LAION, Tuebingen University), Jean Mercat (Toyota Research Institute (TRI)), Trung Vu (Google), Zayne Sprague (New York University), Ashima Suvarna (UCLA), Benjamin Feuer (Stanford University), Leon Liangyu Chen (Stanford University), Zaid Khan (University of North Carolina at Chapel Hill), Eric Frankel (Department of Computer Science, University of Washington), Sachin Grover (Arizona State University), Caroline Choi (None), Niklas Muennighoff (Stanford University), Shiye Su (Stanford University), Wanjia Zhao (Stanford University), John Yang (Princeton University), Shreyas Pimpalgaonkar (New York University), Kartik sharma (Georgia Institute of Technology), Charlie Ji (University of California, Berkeley), Yichuan Deng (Department of Computer Science, University of Washington), Sarah Pratt (University of Washington), Vivek Ramanujan (Department of Computer Science, University of Washington), Jon Saad-Falcon (Computer Science Department, Stanford University), Stutee Acharya (University of South Florida), Jeffrey Li (Carnegie Mellon University), Achal Dave (Anthropic), Alon Albalak (SynthLabs), Kushal Arora (McGill University), Blake Wulfe (Toyota Research Institute), Chinmay Hegde (New York University), Greg Durrett (New York University), Sewoong Oh (University of Washington), Mohit Bansal (UNC Chapel Hill), Saadia Gabriel (University of Washington), Aditya Grover (UCLA), Kai-Wei Chang (University of Virginia Main Campus), Vaishaal Shankar (Apple), Aaron Gokaslan (Cornell University), Mike Merrill (None), Tatsunori Hashimoto (Stanford University), Yejin Choi (Stanford University / NVIDIA), Jenia Jitsev (LAION; Juelich Supercomputing Center, Research Center Juelich), Reinhard Heckel (Technical University Munich), Maheswaran Sathiamoorthy (University of Southern California), Alex Dimakis (Electrical Engineering & Computer Science Department, University of California, Berkeley), Ludwig Schmidt (University of Washington / Stanford / Anthropic) 本研究は、推論能力に特化したAIモデルの学習のために高品質なオープンソースデータセット（open-source datasets）の作成を目的とした「OpenThoughts」プロジェクトを紹介しています。著者たちは、この公開データで学習したモデルが、プライベートなデータセット（private datasets）に依存する既存の強力なシステムと同等かそれ以上のパフォーマンスを発揮できることを示しています。データ生成プロセスを慎重に研究・改善することで、より大規模で高品質なデータセットを構築し、数学、コーディング、科学の各ベンチマーク（benchmarks）でパフォーマンスを大幅に向上させました。全体として、このプロジェクトはオープンなデータのみでも、高度な推論能力を持つモデルを学習できることを実証しています。 Mamba-3：状態空間の原理（State Space Principles）を用いたシーケンスモデリング（Sequence Modeling）の改善 著者：Aakash Sunil Lahoti (CMU, Carnegie Mellon University), Kevin Li (Carnegie Mellon University), Berlin Chen (Princeton University), Caitlin Wang (Princeton University), Aviv Bick (Carnegie Mellon University), Zico Kolter (Carnegie Mellon University), Tri Dao (Princeton University), Albert Gu (Cartesia AI CMU) 本論文は、パフォーマンスを犠牲にすることなくAI推論（AI inference）をより高速かつ効率的に行うために設計された新モデル「Mamba-3」を紹介しています。Transformerの効率的な代替手法は計算量を削減するものの、長期情報の追跡といったタスクでしばしば課題を抱えますが、Mamba-3は改善された状態モデリング（state modeling）とより表現力豊かな更新メカニズム（update mechanism）によってこの課題に対処します。また、本モデルはマルチ入力・マルチ出力設計（multi-input, multi-output design）を採用し、生成速度を低下させることなく精度を向上させています。全体として、Mamba-3は効率性と能力の両方を同時に向上させることが可能であり、速度とパフォーマンスのトレードオフを前進させることを示しています。 損失なし階層的推測的デコーディング（Lossless Hierarchical Speculative Decoding）による結合不可解性（Joint Intractability）の克服 著者：Yuxuan Zhou (Independent Researcher), Fei Huang (Alibaba Group), Heng Li (Carnegie Mellon University), Fengyi Wu (University of Washington), Tianyu Wang (University of Washington), Jianwei Zhang (Alibaba Group), Junyang Lin (Alibaba Group), Zhi-Qi Cheng (University of Washington) 本論文は、推測的デコーディング（speculative decoding）における検証ステップを改善しつつ正確な出力分布（output distributions）を保持することで大規模言語モデル（large language model）の推論を高速化する新手法「階層的推測的デコーディング（Hierarchical Speculative Decoding, HSD）」を紹介しています。シーケンスレベルの検証（sequence-level verification）における「結合不可解性」の課題に対し、リサンプリング（resampling）を階層構造に整理して枝全体に確率質量（probability mass）を再分配することで、一度により多くのトークン（tokens）を受け入れることを可能にします。この手法は理論的に損失なしであることが証明されており、モデルやベンチマーク全体で一貫した速度向上を示し、従来のトークン単位の検証（tokenwise verification）およびブロック単位の検証手法（blockwise verification methods）を上回っています。全体として、HSDは忠実性を犠牲にせずにデコーディングを加速する実用的かつ汎用の手法を提供し、既存のフレームワークに統合することで最先端の効率性（state-of-the-art efficiency）を達成します。 線形非ガウス潜在変数循環因果モデル（Linear Non-Gaussian Latent-Variable Cyclic Causal Models）における分布の同等性（Distributional Equivalence）：特性と学習 著者: Haoyue Dai (Carnegie Mellon University), Immanuel Albrecht (FernUniversität in Hagen), Peter Spirtes (Carnegie Mellon University), Kun Zhang (Carnegie Mellon University & MBZUAI) 本論文は、潜在変数とサイクルを含む線形非ガウスモデルにおける因果発見（causal discovery）を研究しており、異なる因果グラフ（causal graphs）が観測的に識別不可能な条件に焦点を当てています。この設定における分布の同等性（distributional equivalence）に関する初の一般化された特徴付けを提供し、2つのモデルが同じ観測データを生成する条件を記述するための新しいツール——特にエッジランク制約（edge rank constraints）——を導入しています。この理論に基づき、著者はすべての同等モデルを列挙するための実用的なグラフ基準と変換を導出し、データから等価クラス全体を復元するアルゴリズムを提案しています。全体的に、この研究は強力な構造的仮定の必要性を取り除き、潜在変数を用いた因果発見（latent-variable causal discovery）のための一般化された原理的な枠組みを提供します。 Revela: 言語モデリングによる密な検索器の学習 著者: Fengyu Cai (Technische Universität Darmstadt), Tong Chen (University of Washington), Xinran Zhao (Carnegie Mellon University), Sihao Chen (Microsoft), Hongming Zhang (Tencent AI Lab Seattle), Sherry Wu (Carnegie Mellon University), Iryna Gurevych (Technical University of Darmstadt / Mohamed bin Zayed University of Artificial Intelligence), Heinz Koeppl (TU Darmstadt) 本論文は、Revelaを紹介しています。これは、注釈付きのクエリ-ドキュメントペアに依存するのではなく、言語モデリング（language modeling）の目的関数を活用して密な検索器（dense retrievers）を訓練するための自己教師ありフレームワークです。次のトークン予測（next-token prediction）にバッチ内アテンション機構（in-batch attention mechanism）を付加し、ドキュメントが互いにアテンションを向けることを可能にすることで、検索器が言語モデルと共同でドキュメント間関係（cross-document relationships）を学習できるようにしています。ドメイン固有、推論集中型、および一般的なベンチマーク全体での実験により、Revelaが大幅に少ないデータと計算資源を使用しながらも、教師あり検索器やAPIベースの検索器と同等以上の性能を発揮することが示されています。全体的に、この研究は、ドメイン横断で強い汎化能力を持ち、生テキストから直接検索器を学習するためのスケーラブルで効率的な代替案であることを実証しています。 潜在粒子ワールドモデル：自己教師ありオブジェクト中心の確率力学モデリング 著者: Tal Daniel (Carnegie Mellon University), Carl Qi (University of Texas at Austin), Dan Haramati (Brown University), Amir Zadeh (Lambda), Chuan Li (Lambda Labs), Aviv Tamar (Technion), Deepak Pathak (Carnegie Mellon University), David Held (Carnegie Mellon University) 本論文は、潜在粒子ワールドモデル（Latent Particle World Model, LPWM）を紹介する。これは教師なしで生動画から直接、シーンを実態粒子（latent particles、例：キープイント、マスク、オブジェクト属性）に分解する学習を行う、自己教師あり（self-supervised）のオブジェクト中心型ワールドモデル（object-centric world model）である。本手法は、確率動態（stochastic dynamics）をモデル化する新規なパーパーティクル潜在行動メカニズム（per-particle latent action mechanism）を提案しており、これによりシステムは複雑なマルチオブジェクト相互作用を捉え、多様な未来予測を生成できる。本モデルはエンドツーエンド（end-to-end）で学習され、行動、言語、ゴール画像に対する柔軟な条件付け（conditioning）をサポートし、実世界および合成動画の予測タスクにおいて最先端のパフォーマンスを達成している。動画モデリングに加え、LPWMは学習された潜在動態を活用することで、模倣学習（imitation learning）などの意思決定アプリケーションにおいても強力な可能性を示している。 LoongRL: Reinforcement Learning for Advanced Reasoning over Long Contexts 著者: Siyuan Wang（Shanghai Jiao Tong University）、Gaokai Zhang（Carnegie Mellon University）、Li Lyna Zhang（Microsoft Research Asia）、Ning Shang（Microsoft）、Fan Yang（Microsoft Research）、Dongyao Chen（Shanghai Jiaotong University）、Mao Yang（Peking University） 著者らは、LoongRLを紹介する。これは大規模言語モデルの長期コンテキスト推論（long-context reasoning）能力を向上させるために設計された強化学習（reinforcement learning）フレームワークであり、困難な合成タスクでモデルを学習させることでその向上を図る。また、KeyChainというデータ構築手法を提案している。これは長文書内に隠れた質問チェーンを埋め込み、モデルが近道に頼るのではなく多段階の計画、検索、推論を実行することを強制するものである。強化学習（RL）による学習を通じて、モデルは「計画－検索－推論－再確認」という創発的な推論パターンを発達させ、これはより短い（16K）コンテキストからはるかに長い（128K）コンテキストへと一般化する。実験により、LoongRLは強力な短期コンテキスト能力を維持しつつ長期コンテキスト推論性能を大幅に向上させ、はるかに大規模なモデルと同等の結果を達成することが示された。 Exchangeability of GNN Representations with Applications to Graph Retrieval 著者: Kartik Nair（Carnegie Mellon University）、Indradyumna Roy（IIT Bombay, Aalto University）、Soumen Chakrabarti（IIT Bombay）、Anirban Dasgupta（IIT Gandhinagar）、Abir De（Indian Institute of Technology Bombay） 本論文は、グラフニューラルネットワーク（Graph Neural Networks, GNN）における交換可能性（exchangeability）の概念を紹介する。これは、ランダム初期化と順列不変学習（permutation-invariant training）により、学習されたノード埋め込み（node embeddings）の次元が統計的に互換性（交換可能）であることを示している。この性質は、埋め込み成分が同一の分布を共有することを意味し、グラフ類似度の計算方法を簡略化できることを示唆する。この知見を活用し、著者らは並べ替えられた埋め込み値に対する単純なユークリッド演算（Euclidean operation）を用いて、複雑な輸送ベースのグラフ距離（transportation-based graph distance）を近似する。さらに、GRAPHHASHという局所敏感ハッシング（Locality-Sensitive Hashing）フレームワークを提案しており、これは効率的かつスケーラブルなグラフ検索を可能にし、既存手法と比較して強力なパフォーマンスを達成している。 Poster Papers アプリケーション TusoAI：Agentic Optimization for Scientific Methods（科学的手法のためのエージェント型最適化） 著者：Alistair Turcan（School of Computer Science, Carnegie Mellon University）、Kexin Huang（Stanford University）、Lei Li（School of Computer Science, Carnegie Mellon University）、Martin J. Zhang（Carnegie Mellon University） AutoLibra：Agent Metric Induction from Open-Ended Human Feedback（オープンエンドの人間フィードバックからのエージェント指標誘導） 著者：Hao Zhu（Carnegie Mellon University）、Phil Cuvin（Stanford University）、Xinkai Yu（University of Pennsylvania, University of Pennsylvania）、Charlotte Yan（Stanford University）、Jason Zhang（Stanford University）、Diyi Yang（Stanford University） DistMLIP：A Distributed Inference Platform for Machine Learning Interatomic Potentials（機械学習用原子間ポテンシャルのための分散推論プラットフォーム） 著者：Kevin Han（Carnegie Mellon University）、Bowen Deng（UC Berkeley）、Amir Barati Farimani（CMU, Carnegie Mellon University）、Gerbrand Ceder（University of California, Berkeley） Vlaser：Vision-Language-Action Model with Synergistic Embodied Reasoning（協調的具現化推論を備えたビジョン・ランゲージ・アクションモデル） 著者：Ganlin Yang（University of Science and Technology of China）、Tianyi Zhang（Zhejiang University; Shanghai Artificial Intelligence Laboratory）、Haoran Hao（Carnegie Mellon University）、Weiyun Wang（Fudan University）、Yibin Liu（Northeastern University）、Dehui Wang（Shanghai Jiaotong University）、Guanzhou Chen（Shanghai AI Laboratory, Shanghai Jiaotong University）、Zijian Cai（Shenzhen University）、Junting Chen（national university of singaore, National University of Singapore）、Weijie Su（University of Science and Technology of China）、Wengang Zhou（University of Science and Technology of China）、Yu Qiao（Shanghai Aritifcal Intelligence Laboratory）、Jifeng Dai（Tsinghua University, Tsinghua University）、Jiangmiao Pang（Shanghai AI Laboratory）、Gen Luo（Shanghai AI Laboratory）、Wenhai Wang（Shanghai AI Laboratory）、Yao Mu（Shanghai Jiao Tong University）、Zhi Hou（Shanghai Artificial Intelligence Laboratory） DataMIL：Selecting Data for Robot Imitation Learning with Datamodels（データモデルを用いたロボットの模倣学習のためのデータ選択） 著者：Shivin Dass（University of Texas at Austin）、Alaa Khaddaj（OpenAI）、Logan Engstrom（Massachusetts Institute of Technology）、Aleksander Madry（OpenAI）、Andrew Ilyas（Carnegie Mellon University）、Roberto Martín-Martín（University of Texas at Austin） TimeSeriesExamAgent：Creating Time Series Reasoning Benchmarks at Scale（大規模な時系列推論ベンチマークの作成） 著者：Malgorzata Gwiazda（Technical University of Munich）、Yifu Cai（Millennium Management LLC）、Mononito Goswami（Carnegie Mellon University）、Arjun Choudhry（Georgia Institute of Technology）、Artur Dubrawski（Carnegie-Mellon University）

カーネギーメロン大学、ICLR 2026に194論文を発表

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

ニュースの次に確認する

調べる

選ぶ

サイト