Together AI、ICML 2026 に参加：フルスタックにわたる最先端研究を発表

Together AI とその仲間たちからの8編の論文が、ソウルで開催される ICML 2026 に採択されました。ご来場予定の方は、ブース B714 までお越しください。ぜひお話しできれば幸いです。 ![image](https://cdn.prod.website-files.com/69654e88dce9154b5f12070c/6a44018f27a12a0b57e4da7c_20260629_ICM-2026_1200x744-1.jpg)![image](https://cdn.prod.website-files.com/69654e88dce9154b5f12070c/6a44018f27a12a0b57e4da7c_20260629_ICM-2026_1200x744-1.jpg)8編の論文をリストとして一覧するのは大変なことです。それらを読むより良い方法は、それぞれの論文がスタック（技術階層）のどこに位置するかで読むことです。フロンティア AI は単一のレイヤーだけで構築されるものではありません。それはエージェントから GPU カーネルに至るまで続く研究の産物であり、もし周囲のレイヤーが追いつかない場合、ある1つのレイヤーでの進歩は無駄になってしまいます。 これが私たちの仕事の核心です。最上位のフロンティア・エージェントから最下位のカーネルに至るまで、私たちの研究はすべてに及び、各レイヤーが次のレイヤーを支えます。この研究は Together プラットフォームの一部となり、そのプラットフォーム上で実行される本番ワークロードが、次なる研究課題へと私たちに道を示します。適応型推測デコーディング（adaptive speculative decoding）に関する ICML 論文「Aurora」はその明確な例です：同じ研究ラインが今日、本番環境の ATLAS スペキュレーターとして出荷されています。 今年の研究を、レイヤーごとに上から順に紹介します。 01 フロンティア・エージェント 実際的な作業を行うエージェント — 偽装できないタスクで測定されます。 **DSGym**1,000 以上のタスク、10 以上のドメイン **ThunderAgent** エージェント推論が最大 3.6 倍高速化 **TTT-Discover** 最良の人間およびオープンモデルを上回る 02 モデルの形状変更 ベースモデルを推論型モデルに変換する — 正解キーが存在しない場合でも。 **RARO** 勝率 25%、検証器なし **V1** 正答率が最大 10% 向上 03 アルゴリズム最適化 トークンごとのコスト削減 — 実トラフィックに適応する推測デコーディング。 **Aurora** トラフィックのシフトに応じて 1.25 倍 04 システム最適化 同じ GPU でより多くの処理を収容 — より長いコンテキスト、大きなバッチサイズ、高速な MoE デコーディング。 **Untied Ulysses** 単一ノードで 5M トークンのコンテキスト **OEA** MoE デコーディングが最大 39% 高速化 05 カーネル すべての処理を支える GPU カーネル — マイクロ秒の積み重ねがスタック全体に波及する領域。 今年この層では新たな ICML 論文はありませんが、これは同じフライングホイール（回転増幅装置）の中核です。Together ブログでカーネルに関する研究について読むことができます。 ## フロンティアエージェント スタックの最上位：実際に作業を行うエージェントを構築し、誠実に評価する。 論文 1 ## DSGym: データサイエンスエージェントの評価と訓練のための包括的フレームワーク 1,000 以上のタスク 10 以上のドメイン、単一の API **10 以上のドメインにわたる 100 件以上のデータサイエスタスクを、単一の評価および訓練 API の背後で統一。** データサイエンスエージェントは公平に測定することが困難であり、各ベンチマークには独自のインターフェースがあり、多くのタスクではデータを一度も開かずに解決できてしまいます。DSGym は測定の標準化を行い、その抜け穴を埋めます。 これは、データセット、エージェント、指標に対する共通の抽象化を備えた多様な評価スイートを一つの API の背後に統合し、各タスクを自己完結型の実行環境で実行するものです。この環境では、エージェントは答えを思い出すのではなく、データと対話して作業を行う必要があります。洗練された既存のスイートに加え、学術文献に基づいた 90 の専門的なバイオインフォマティクスタスクと、Kaggle スタイルの 92 のエンドツーエンドモデリングコンペティションを追加しました。同じ環境は逆方向にも動作し、トレーニングエンジンとして機能します。軌跡生成と合成クエリパイプラインによって実行検証済みデータを生成し、これを用いて人間のラベル付けなしで 4B パラメータのモデルを、最先端のオープンソースデータサイエンスエージェントへと訓練しました。 正直に評価し、同じハーンチスから合成し、ファインチューニングを行い、再評価を行う。これらすべてが一つのフレームワーク内で完結します。 著者：Fan Nie, Junlin Wang, Harper Hua, Federico Bianchi, Yongchan Kwon, Zhenting Qi, Owen Queen, Shang Zhu, James Zou。スタンフォード大学、デューク大学、ハーバード大学の協力者と共著。 論文：[arXiv:2601.16344](https://arxiv.org/abs/2601.16344) 論文 2 ## ThunderAgent: シンプルで高速かつプログラム意識型のエージェント推論システム 最大 3.6 倍 エージェントスループット **エージェントワークロードに対するサービングスループットを 1.5 倍から 3.6 倍向上させること。導入にはコード 3 行のみで十分です。** パラレルなエージェントワークロードは負荷下でも崩壊せず、その解決策はより高速なモデルではありません。 *著者：Fan Nie, Junlin Wang, Harper Hua, Federico Bianchi, Yongchan Kwon, Zhenting Qi, Owen Queen, Shang Zhu, James Zou。スタンフォード大学、デューク大学、ハーバード大学の協力者と共著。 論文：[arXiv:2601.16344](https://arxiv.org/abs/2601.16344) 論文 2 ## ThunderAgent: シンプルで高速かつプログラム意識型のエージェント推論システム 最大 3.6 倍 エージェントスループット **エージェントワークロードに対するサービングスループットを 1.5 倍から 3.6 倍向上させること。導入にはコード 3 行のみで十分です。** パラレルなエージェントワークロードは負荷下でも崩壊せず、その解決策はより高速なモデルではありません。 問題は、推論エンジンがエージェントを実行していることに気づいておらず、マルチターンワークフローの各ステップを独立したリクエストとして扱っている点にあります。これにより、負荷下でレイテンシが最大 7.14 倍に膨張してしまいます。ThunderAgent は、ワークフロー自体をスケジューラがエンドツーエンドで推論できるファーストクラスオブジェクトへと昇格させます。スループットの向上に加え、最先端システムと比較して RL（強化学習）のロールアウトを 1.8 倍から 3.9 倍高速化し、ディスク使用量を最大 4.2 倍削減します。 著者：Hao Kang, Ziyang Li, Xinyu Yang, Weili Xu, Yinfang Chen, Junxiong Wang, Beidi Chen, Tushar Krishna, Chenfeng Xu, Simran Arora。ジョージア工科大学、カーネギーメロン大学、イリノイ大学アーバナ・シャンペーン校との共同研究者を含む。 論文：[arXiv:2602.13692](https://arxiv.org/abs/2602.13692) 論文 3 ## テスト時における発見の学習 (TTT-Discover) ベストな人間を超え、オープンモデルで約 500 ドル。 **数学、GPU カーネル、競技用アルゴリズム、生物学の 4 つの分野にわたる最先端の発見。すべてオープンモデルを用いて実現。** これまでの同レベルの結果はすべて、API の背後にある非公開のフロンティアモデルに依存しており、その内部を参照したり実行したりすることはできませんでした。TTT-Discover は、変更のない単一の手法と 120B パラメータのオープンモデルを用いてこれを達成し、問題あたり数百ドルで済みます。 AI の発見における一般的なレシピは検索です：凍結されたモデルに数千回プロンプトを送り、最良のサンプルを選びます。一方、TTT-Discover は、目の前にある単一の問題に対してテスト時に強化学習を実行するため、試行ごとに次の試行のためのトレーニングデータとなり、モデルは作業するにつれて改善されます。同じサンプリング予算であれば、単純な Best-of-N 手法ではこれに追いつくことはできません。 この同一の設定（変更なし）は、60 年前の数学におけるエルデシュ問題に対してより厳しい上限を設定し（以前の AI レコードであるクローズドモデルを使用した場合を超え）、GPUMode リーダーボードにおいて最良の事前提出よりも高速な GPU カーネルを発見し、競技プログラミングコンテストで 1 位レベルの結果を達成し、生物学における単一細胞ノイズ除去ベンチマークで新たな最高記録を樹立しました。これらはすべてオープンソースの gpt-oss-120b で実現されています。コードと記録更新されたカーネルは公開されています。 著者：Mert Yuksekgonul, Daniel Koceja, Xinhao Li, Federico Bianchi, Jed McCaleb, Xiaolong Wang, Jan Kautz, Yejin Choi, James Zou, Carlos Guestrin, Yu Sun。スタンフォード大学、NVIDIA、UC サンディエゴ、Astera 研究所の協力者を含む。 論文：[arXiv:2601.16175](https://arxiv.org/abs/2601.16175) ## モデルの構築（Model shaping） モデルをどのように訓練し、形成するか：推論、ファインチューニング、および強化学習。 論文 4 ## 検証器からの脱却：デモンストレーションによる推論学習 (RARO) 専門家との比較：25% vs 5.9% 検証器なし **専門家回答に対して 25% の勝率を記録し、教師あり微調整では 5.9% に留まる中、検証器は一切使用していません。** これにより、数学やコードだけでなく、詩の作成や財務分析など、検証器が存在しないタスクにおいても RL（強化学習）グレードの推論が可能になります。 RL ベースの推論は通常、正答性をスコアリングできる検証器を前提としています。RARO (Relativistic Adversarial Reasoning Optimization) はこれを敵対的ゲームに置き換えます：1 つのモデルが、専門家品質の回答を生み出す方策として機能すると同時に、2 つの回答のうちより優れたものを選別する「相対的な批評家」として学習します。同点を含むペア比較がトレーニングの安定性にとって鍵となります。Countdown において、RARO は検証器を使用しないにもかかわらず、真値検証器を伴う RL の 57.7% に対し 54.4% の精度を達成しました。一方、SFT（教師あり微調整）や反復 DPO は 40.7% を超えることはありませんでした。学習された批評家はテスト時の再ランク化器としても機能し、DeepMath の性能を 7B モデルで 57.5% から 68.4% に引き上げます。 *著者：Locke Cai, Max Ryabinin, Ivan Provilkov* 論文：[arXiv:2511.21667](https://arxiv.org/abs/2511.21667) 論文 5 ## V1: パラレル推論器における生成と自己検証の統合 +10% Pass@1 · 同じ計算リソース **最大で 10% 多くの正解を引き出す。** これは、すでに支払い済みの生成結果からより良い回答を選別する勝利であり、計算リソースを増やすことではありません。 オラクルなしで多数の回答をサンプリングし、それぞれを独立して採点する場合、ジャッジはほぼすべての回答に 10 点満点を付与してしまい、差別化する能力を失ってしまいます。V1 は、ほぼ線形のスイス・トーナメント方式の検証器を通じて選択を比較へと再定義します。トレーニングレシピである V1-PairRL は、単一のモデルに対して、自身の出力を生成すると同時にペアwise 検証を行うことを同時に教えることで、テスト時の検証が全くない場合でもベースラインの精度を向上させます。 著者：Harman Singh, Xiuyu Li, Kusha Sareen, Monishwaran Maheswaran, Sijun Tan, Xiaoxia Wu, Junxiong Wang, Alpay Ariyak, Qingyang Wu, Samir Khaki, Rishabh Tiwari, Long Lian, Yucheng Lu, Boyi Li, Alane Suhr, Ben Athiwaratkun, Kurt Keutzer。UC Berkeley、NVIDIA、Mila の協力者を含む。 論文：[arXiv:2603.04304](https://arxiv.org/abs/2603.04304) ## アルゴリズム最適化 推論の計算コストを削減する：スペキュレーティブ・ディコーディング、量子化、RL 推論。 論文 6 ## RL と適応的スペキュレーショントレーニングの融合：統合されたトレーニング・サービングシステム (Aurora) 1.25× トラフィックがシフトするにつれて **MiniMax M2.1 229B や Qwen3-Coder-Next 80B といった最新のフロンティアモデルにおいて、初日（day-0）で 1.5 倍の速度向上を実現し、さらにトラフィックがシフトするにつれて強力な静的スペキュレーターに対して追加で 1.25 倍の向上をもたらします。** 初日には高速であり、実行時間が長くなるほどさらに高速化するスペキュレーティブ・ディコーディングです。 多くのデプロイメントでは、推測器（speculator）をオフラインで訓練して凍結するため、デプロイが遅く、トラフィックやターゲットモデルの変化に伴って陳腐化してしまいます。Aurora は、オンラインでの推測器学習を、本番環境で実行される非同期強化学習問題として再定義します：受け入れられたトークンと拒否されたトークンが報酬信号となり、訓練サーバーは推測器を継続的に更新し、新しい重みはダウンタイムゼロでサーバーにホットスワップされます。 著者: Junxiong Wang, Fengxiang Bie, Jisen Li, Zhongzhu Zhou, Zelei Shao, Yubo Wang, Yinghui Liu, Qingyang Wu, Avner May, Sri Yanamandra, Yineng Zhang, Ce Zhang, Tri Dao, Percy Liang, Ben Athiwaratkun, Shuaiwen Leon Song, Chenfeng Xu, Xiaoxia Wu. 論文: [arXiv:2602.06932](https://arxiv.org/abs/2602.06932) ## システム最適化 モデルの訓練とサービングを行うシステム：非集約化（disaggregation）、バッチ処理、スケジューリング、コンテキスト並列性。 論文 7 ## Untied Ulysses: ヘッドごとのチャンク分割によるメモリ効率の高いコンテキスト並列性 500 万トークン 1 ノード · ~87.5% メモリ削減 **単一の 8xH100 ノードでの最大 500 万トークンのコンテキスト訓練、アテンションメモリの最大 87.5% 削減。** より大きなクラスターがなくても、非常に長いコンテキストで訓練できます。 アテンション層内の活性化メモリが長文コンテキストのトレーニングを制限しており、GPU を追加してもその天井は上がりません。UPipe は一度に数個のアテンションヘッドのみを処理し、ステージ間で同じバッファを再利用することで、32B Transformer においてピーク時のアテンションメモリを最大 87.5% 削減します。その結果、1 ノードで 5M トークン（既存手法より約 25% 上回る）、2 ノードでは 8M トークンを処理可能となりながら、スループットは同等水準を維持します。これは FlashAttention-3 カーネル上で DeepSpeed-Ulysses のドロップイン代替手段であり、コードはオープンソースです。 著者：Ravi Ghadia, Maksim Abraham, Sergei Vorobyov, Max Ryabinin. 論文：[arXiv:2602.21196](https://arxiv.org/abs/2602.21196) 論文 8 ## オポチュニスティック・エキスパート活性化：再学習なしで高速デコードを実現するバッチ対応エキスパートルーティング (OEA) 最大 39% 高速な MoE デコード **再学習もアーキテクチャ変更も不要で、MoE のデコードレイテンシを最大 39% 削減。** バッチ処理によって静かに失われるスパースリティを、無料で取り戻します。 Mixture-of-Experts モデルは、各トークンが少数のエクスパートにしかアクセスしないため安価であるはずですが、バッチ処理を行う瞬間にそのスパース性が崩壊します。バッチサイズ 16 の場合、各トークンが 8 つのエクスパートを必要とするモデルでも、実際には約 82 個のエクスパートを読み込むことになります。OEA のバッチ対応ルーティングは、推論時に 2 フェーズでスパース性を回復し、その第 2 フェーズではバッチ内で既に読み込まれているエクスパートをトークン間で共有することで、レイテンシコストゼロで品質を維持します。AIME24、GPQA、LiveCodeBench、MATH 500 における精度は横ばいを保ち、調整すべきハイパーパラメータも 1 つだけです。 著者：Costin-Andrei Oncescu, Qingyang Wu, Wai Tong Chung, Robert Wu, Bryan Gopal, Junxiong Wang, Tri Dao, Ben Athiwaratkun。ハーバード大学およびプリンストン大学の協力者を含む。 論文：[arXiv:2511.02237](https://arxiv.org/abs/2511.02237) ## 数値で見る 1,000+ のタスク 10 以上のドメイン、1 つの API DSGym 最大 3.6 倍 エージェントのスループット ThunderAgent ベストな人間を上回る オープンモデル、約$500 TTT-Discover エキスパートに対して 25% vs 5.9% 検証者なし RARO +10% Pass@1 · 同じ計算リソース V1 トラフィックシフト時に 1.25 倍 Aurora 5M トークン 1 ノード・メモリ使用率約 87.5% Untied Ulysses 最大 39% 高速化 MoE デコード OEA ## ソウルでの出展場所 全 8 編の論文は、7 月 6 日から 11 日にソウルで開催される ICML 2026 に掲載されます。ブース B714 にお立ち寄りいただき、詳細をご確認ください。 ## Together AI @ ICML 2026 **COEX, ソウル · 7 月 6 日～11 日** ブース B714 · 通週 論文日時（ソウル KST）ポスター **フロンティア・エージェント **DSGym** 木曜日 7/9 · 午後 2:30 – 4:15 #66567 **ThunderAgent** 火曜日 7/7 · 午前 10:30 – 正午 12:15 #62040 **TTT-Discover** 火曜日 7/7 · 午後 5:00 – 6:45 #62199 **モデルの形状設計 (Model shaping)** **RARO** 木曜日 7/9 · 午前 10:30 – 正午 12:15 #61507 **V1** 木曜日 7/9 · 午後 5:00 – 6:45 #64825 **アルゴリズムの最適化 (Algorithmic optimizations)** **Aurora** 木曜日 7/9 · 午前 10:30 – 正午 12:15 #66675 **システム最適化 (Systems optimizations)** **Untied Ulysses** 木曜日 7/9 · 午後 5:00 – 6:45 #66102 **OEA** 水曜日 7/8 · 午前 10:30 – 正午 12:15 #62958 私たちは今週中、ブースにも出展しています。ぜひお立ち寄りください： - 執筆した本人たちと、8 つの論文すべてについて議論する - ファインチューニングから本番環境での推論まで、この研究が Together プラットフォームでどのように実装されているかを実演で見る - チームメンバーに会い、今後の取り組みについて聞く ## これを一緒に作りましょう 私たちは、特定のレイヤーだけでなく、スタック全体（フルスタック）にわたって作業したい研究者および研究エンジニアを募集しています。オープンポジションの詳細は [together.ai/careers](https://www.together.ai/careers) をご覧ください、またはブースまでお越しください。 その他の方へ：[ソウルでの面談をリクエストする](https://www.together.ai/)、完全な[研究ブログ](https://www.together.ai/research-blog)を閲覧する、そしてカンファレンス中に深掘り記事が公開されるにつれて X（旧 Twitter）の [@togethercompute] をフォローしてください。

Together AI、ICML 2026 に参加：フルスタックにわたる最先端研究を発表

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト