Together AI Blog の最新記事

公式

14件の記事

分布認識型推論特定デコーディングでRLロールアウトを最大50%高速化

強化学習のポストトレーニングにおけるボトルネック「ロールアウト」を、適応型推論特定デコーディング（DAS）により最大50%高速化する。この手法は報酬品質の低下なしに処理速度を向上させる。

Together AIは、チームの分離を損なうことなくGPUリソースを共有するマルチテナントクラスターの設計手法を実践例とともに解説している。

Parcaeは、Transformerの2倍のサイズに匹敵する品質を持つ安定したループ言語モデルです。7.7億パラメータのモデルが13億レベルのパフォーマンスを実現し、ループ回数の増加が計算効率の高いスケーリング法則であることを示しました。

EinsteinArenaは、AIエージェントが数学問題で協力・競争するプラットフォーム。同プラットフォームのエージェントは11件の新記録を樹立し、次元11の kissing number の下限を593から604に引き上げた。

新研究により、大規模言語モデル（LLM）が統計ヒューリスティックが見逃す基数推定エラーを修正し、データベースクエリの実行計画を最適化できることが示された。これにより最大4.78倍の高速化が実現する。

Deepgramの音声テキスト変換（STT）およびテキスト読み上げ（TTS）モデルが、Together AIの専用推論インフラ上でリアルタイム音声エージェント向けに利用可能となった。

Together AIのカーネル研究チームは、FlashAttentionやThunderKittensの開発者であり、GPUハードウェアと本番環境のAIとの間のギャップを埋める役割を果たしている。

Auroraは、推論効率を1.25倍向上させるオープンソースの強化学習フレームワークです。これは、推論を単なるオフライン設定から、リクエストごとに自己改善するシステムへと変革します。

研究者らは、計画者・ワーカー・マネージャーによる「分割統治」フレームワークを開発した。これにより、Llama-3-70BやQwen-72Bといった比較的小さなモデルが、GPT-4oの単一ショット推論を上回る性能を発揮し、長大なコンテキスト処理におけるLLMの劣化問題を解決した。

Together AIは、ツール呼び出し、推論、ビジョン言語モデルのネイティブサポートを追加し、100B以上のモデルトレーニングに対応するファインチューニングサービスを拡大した。処理速度は最大6倍向上し、ジョブコストと所要時間の見積もり機能も提供している。

Mambaチームは、推論に特化した状態空間モデル「Mamba-3」を発表した。このモデルはTransformerよりデコード速度が速く、前版Mamba-2よりも性能が高い。また、初日からオープンソースとして公開されている。

Together AIは、STT、LLM、TTSを一体化したインフラを提供し、DeepgramやCartesiaとのネイティブ連携により、500ms未満の低遅延でリアルタイム音声エージェントの実装を可能にする。

Together GPU Clustersは、自動スケーリング、RBAC、フルスタック可観測性、ノード自己修復機能を搭載し、効率的なスケーリングと堅牢性を提供。これにより、チームは共有エンタープライズワークロードに対応する本番環境対応のGPUインフラを構築できる。

Together AIは、LLMの長文コンテキスト処理におけるCPDアーキテクチャを発表した。この手法は暖系と冷系の推論作業を分離し、スループットを40%向上させ、最初のトークン生成までの時間を大幅に短縮する。