Decoupled DiLoCo: A new frontier for resilient, distributed AI training｜Decoupled DiLoCo：堅牢な分散型AI学習の新たな最前線 | AIニュース最前線

2026年4月23日 リサーチ アーサー・デュイヤールとDiLoCoチーム 当社の新しい分散アーキテクチャは、より低い帯域幅と高いハードウェア耐障害性を実現し、遠隔地のデータセンター間で大規模言語モデル（LLM）のトレーニングを可能にします。 最先端AIモデルのトレーニングは従来、同一のチップがほぼ完璧な同期状態を維持する必要がある大規模で密結合されたシステムに依存してきました。このアプローチは現在の最先端モデルには非常に効果的ですが、将来のスケール世代を見据えると、数千ものチップ間でこのレベルの同期を維持することは重大な物流上の課題となります。 本日、私たちはこの問題に対する新しいアプローチとして、分離型DiLoCo（分散低通信：Decoupled DiLoCo）を提案する[新しい論文](https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/decoupled-diloco-a-new-frontier-for-resilient-distributed-ai-training/decoupled-diloco-for-resilient-distributed-pre-training.pdf)を公開いたします。このアーキテクチャは、大規模なトレーニング実行を分離された計算「アイランド」に分割し、それらの間で非同期データフロー（asynchronous data flow）が流れるようにすることで、ローカルな障害を隔離します。これにより、システムの他の部分は効率的に学習を継続できます。 その結果、世界中に分散されたデータセンター間で高度なモデルをトレーニングするための、より耐障害性が高く柔軟な方法が実現します。そして重要なのは、Decoupled DiLoCoが、データ並列（Data-Parallel）などの以前の分散手法をグローバルスケールで実用的ではなかった通信遅延の影響を受けないことです。 最先端モデルがスケールと複雑さを増し続ける中、私たちはより多くの計算リソース、場所、多様なハードウェアを活用してモデルをトレーニングするさまざまなアプローチを探求しています。 図1：トレーニング実行を分離された計算「アイランド」（ラーニングユニット）に分割することで、同じレベルのハードウェア障害が発生してもその影響が隔離されるため、ほぼ中断のないトレーニングが可能になります。 ## スケールでのより耐障害性の高い非同期トレーニングの開発 Decoupled DiLoCoは、非同期データフローに基づく分散AIシステムを導入した[Pathways](https://blog.google/innovation-and-ai/products/introducing-pathways-next-generation-ai-architecture/)と、分散データセンター間で必要な帯域幅を劇的に削減し、遠隔地での大規模言語モデルのトレーニングを実用的にした[DiLoCo](https://arxiv.org/abs/2311.08105)という2つの先行する進歩の上に構築されています。 Decoupled DiLoCoはこれらのアイデアを統合し、スケールでのAIモデルトレーニングをより柔軟に行えるようにします。Pathwaysの上に構築され、分離された計算アイランド（ラーニングユニットとして知られる）間で非同期トレーニングを可能にするため、ある領域でのチップ障害が他の領域の進捗を中断することはありません。 このインフラストラクチャは自己修復機能も備えています。テストでは、「カオスエンジニアリング（chaos engineering）」と呼ばれる手法を用いて、トレーニング実行中に人工的なハードウェア障害を導入しました。Decoupled DiLoCoはラーニングユニット全体が失われた後もトレーニングを継続し、それらがオンラインに戻るとシームレスに再統合しました。 Gemma 4モデルを用いたDecoupled DiLoCoのテストにより、ハードウェア障害が発生した場合でも、従来のトレーニング手法よりも学習クラスタの利用可能性を高く維持できることが示されました。その上で最終的には、ベンチマークで測定された同等のマシンラーニング（ML）パフォーマンスを実現しています。 Figure 2: **Left**: Decoupled DiLoCoのアプローチは、従来のトレーニング手法よりも桁違いに少ない帯域幅を必要とするため、非常に効率的です。**Middle**: ハードウェア障害のレベルが増加しても、Decoupled DiLoCoは「goodput」（有益なトレーニング）の高いレベルを引き続き提供し続けるのに対し、他のアプローチは急落します。（最初の2つのグラフはシミュレーションされたトレーニング実行に基づいています）。**Right**: 実際の環境での実験では、Decoupled DiLoCoを使用してトレーニングされたGemma 4モデルのベンチマークMLパフォーマンスが、従来のトレーニング手法で得られたパフォーマンスと同等であることを確認しました。 Decoupled DiLoCoは障害に対してより耐性があるだけでなく、本番レベルの完全に分散された事前トレーニング（pre-training）を実行する際にも実用的です。私たちは、2〜5 Gbpsのワイドエリアネットワーク（wide-area networking）（既存のデータセンター施設間のインターネット接続で比較的達成可能なレベルであり、施設間での新しいカスタムネットワークインフラを必要としない）を使用して、120億パラメータのモデルを4つの異なる米国地域にまたがって正常にトレーニングしました。特筆すべきは、このシステムが従来の同期手法（synchronization methods）よりも20倍以上の速さでこのトレーニング結果を達成したことです。これは、当システムが必要な通信をより長い計算期間に組み込むことで、システムの一部分が他の部分を待機しなければならない「ブロッキング（blocking）」のボトルネックを回避しているためです。 ## AIトレーニングインフラの進化を推進する Googleでは、ハードウェア、ソフトウェアインフラ、研究にまたがるフルスタックアプローチ（full-stack approach）でAIトレーニングに取り組んでいます。近年では、これらのレイヤーがどのように連携するかを再考することから得られる成果が増えています。 Decoupled DiLoCoはその一例です。インターネット規模の帯域幅でトレーニングジョブを可能にすることで、どこにあっても未使用のコンピューティングリソース（compute）を活用でき、遊休資源を有用な容量に変えることができます。 効率性と耐性に加えて、このトレーニングパラダイム（training paradigm）は、TPU v6eやTPU v5pなど、異なるハードウェア世代を単一のトレーニング実行で混在させる能力も解放します。このアプローチは既存ハードウェアの有用な寿命を延ばすだけでなく、モデルトレーニングに利用可能な総コンピューティングリソースも増加させます。実験では、異なる速度で動作する異なる世代のチップでも、単一チップタイプのトレーニング実行と同じMLパフォーマンスに達しており、古いハードウェアでさえAIトレーニングを有意義に加速できることが保証されています。 さらに、新しい世代のハードウェアがすべての場所に同時に導入されるわけではないため、異なる世代にまたがってトレーニングできることで、繰り返される物流および容量のボトルネックを緩和できます。 現在、AIインフラの最前線を押し広げるにあたり、次世代のAIを実現するために必要な耐性システムの手法を探求し続けています。 ## 謝辞 本研究は、Google DeepMind と Google Research に所属するチームメンバーによって実施されました。 デカップルド・DiLoCo（Decoupled DiLoCo）のリードおよび中核貢献者は、Arthur Douillard, Keith Rush, Yani Donchev, Zachary Charles, Ayush Dubey, Blake Woodworth, Ionel Gog, Josef Dean, Nova Fallen, Zachary Garrett です。運用サポートは Nate Keating と Jenny Bishop によって提供されました。 また、Jeff Dean, Marc’Aurelio Ranzato, Raia Hadsell, Arthur Szlam, Edouard Yvinec, Henry Prior, Paul Barham, Michael Isard, Daniel Ramage, Brendan McMahan, Chase Hensel, Zoltan Egyed からの追加の支援と助言にも感謝申し上げます。

Decoupled DiLoCo：堅牢な分散型AI学習の新たな最前線

背景や根拠まで確認しますか？

調べる

選ぶ

サイト