Pathway、Amazon SageMaker HyperPod上で脳構造アーキテクチャを開発

AI システムがより複雑なタスクを担うようになる中、業界の進歩は主にモデル規模の拡大、トレーニングデータの増加、コンテキスト長の延長、推論時の計算リソースの増強によって支えられてきました。しかし、思考過程を外部的に連鎖的思考（Chain-of-Thought）として生成し、逐次的に追加トークンを出力して後続のステップにフィードバックする従来のアプローチとは異なり、Pathway の脳由来アーキテクチャである BDH（Dragon Hatchling）は潜在空間内で推論を行います。このモデルは例から学習し、中間的なテキストの痕跡を生成することなく解決策を洗練させていきます。

BDH は、ニューロンのグラフとして元々定式化された脳由来アーキテクチャによってトランスフォーマーのパラダイムを超えています。ここでは、ニューロンがスパースで局所的な相互作用を通じて通信し、シナプスに似た接続において状態を保持します。モデルの状態はコンテキストに応じて適応しますが、テスト時の重み更新は不要です。また、推論の範囲は固定サイズのコンテキストウィンドウに制限されず、非効率な連鎖的思考トークンの洪水にも依存しません。

大規模言語モデル（LLM）は AI を変革し、コード生成から創作に至るまで、私たちがタスクに取り組む方法を根本から変えました。しかし、一般知能や、一貫性を持って長時間にわたって推論を行う能力については、依然として根本的な疑問が残っています。過去 10 年間、そのアーキテクチャはほぼ不変のまま維持されてきましたが、それでもトレーニングと推論の両面で重要な非効率性が存在します。LLM は長い対話の中で記憶を失いがちで、セッション間での知識保持もできず、新しい知識を獲得するには再学習が必要となります。

Pathway の BDH-CQ は、反復的な潜在状態内での計算を実行し、候補となる回答のみをデコードすることで、推論中にモデルの内部メモリを更新します。これにより、モデルは長い言語化された推論プロセスを生成することなく、また微調整や再学習を必要とせずに、新しい問題に取り組むことが可能になります。

Pathway の BDH は PyTorch などの一般的なフレームワークと統合されており、トレーニングのスケーリングには Amazon SageMaker HyperPod を活用しています。Amazon SageMaker HyperPod は、Applied AI の科学者たちが計算リソースを、耐障害性が高く、スケーラブルでコスト効率の良い方法で共有することを可能にします。

トランスフォーマー：アーキテクチャと根本的な限界

トランスフォーマーアーキテクチャは自然言語処理（NLP）において広く採用されていますが、トレーニングと推論の両方の負荷において重大な限界を抱えています。

学習時には、トランスフォーマーは訓練データを超えた体系的な一般化に苦しみ、特に長い思考連鎖（chain-of-thought）推論タスクにおいて大きな課題を抱えます。この限界を補うために膨大なデータと計算リソースが必要となります。トランスフォーマーアーキテクチャの密な計算パターンや全逆伝播（full back-propagation）の要件は、モデルサイズが拡大するにつれて指数関数的に増加する莫大な計算コストを生み出します。

また、微視的なレベル（つまりニューロンの活性化）でのダイナミクスと、巨視的な振る舞い（つまりモデルがなぜそのように回答するのか）との間に明確な関連性が欠如しています。トランスフォーマーは「壊滅的忘却（catastrophic forgetting）」に陥りやすく、新しい知識を学習すると既存の知識を忘れてしまう傾向があるため、完全な再学習やファインチューニングなしで効率的に知識を更新することが困難です。

推論時にも、トランスフォーマーは別の非効率性に直面します。アテンション機構の構造がスケーラビリティを制限しており、Mixture of Experts 技術を用いた場合でも、密な活性化パターンが過剰な計算とメモリ帯域幅の使用量を引き起こします。固定されたコンテキストウィンドウと増大する KV キャッシュは、シーケンス長の処理に制約を課しています。

さらに、トランスフォーマーの内部状態がクローズドソースであるため、モデルの推論プロセスを解釈したり監視したりすることはほぼ不可能です。これは、本番環境や規制の厳しい業界における信頼性や安全性への懸念を生み出しており、大きな問題となっています。

これらの課題は、実装の詳細のみならず、アーキテクチャの設計選択に根本的に起因しています。これは、計算効率と自然な知性の原理の両方に合致する代替アプローチが必要であることを示唆しています。

「現在の AI は推論に対して極めて高いトークンコストを払っていますが、そのコストは知性の法則によるものではなく、アーキテクチャに起因するものです。現在、推論の各ステップがコンテキストを消費し、レイテンシを増加させ、計算リソースを浪費しています。しかし、異なるアーキテクチャを採用することでゲームチェンジが可能となり、1 ドルあたりの知性という観点で全く新しい領域が開かれます。Pathway の BDH アーキテクチャに基づいて構築された 1.5 億パラメータのモデルは、潜在空間内で反復的に推論を行い、ARC-AGI-1 においてコスト効率性の新たな最高記録を達成しました。ボトルネックは知性そのものではなく、設計の問題でした。」

— Zuzanna Stamirowska氏、Pathway CEO 兼共同創設者

BDH：人工知能と自然知能のための統合アーキテクチャ

Pathway（https://pathway.com/）のビジョンは、モデルが思考する根本的な方法を変革することです。同社の BDH アーキテクチャは、継続的に学習し、進化し、推論を行うトランスフォーマー後のモデルです。

BDH のアーキテクチャは、言語モデルを構築するための新しいアプローチを示しています。これは、シーケンスモデリングを、相互作用するニューロン粒子のネットワーク上での局所的なグラフダイナミクスとして再定義するものです。このモデルは、「一緒に発火するニューロンは結合する」というヘッブ学習則を採用し、アテンション機構を実現しています。このアプローチでは、単一のニューロン次元（n）でスケーリングが可能となり、トランスフォーマーをデプロイする際に直面する計算リソースへの分散に関する複雑さを大幅に軽減します。

脳と同様に、BDH における相互作用は疎で局所的に定義されており、ニューロン間の接続が記憶と推論の機能を担います。この疎な活性化プロファイル（特定の時点で通常、ニューロンのうち 5% しか活性しない）は、効率的な計算を可能にします。活性状態が減少することで、各推論ステップに必要な計算量が削減され、本番環境でのパフォーマンス向上につながります。

BDH は、トランスフォーマーモデルが長文脈処理で抱えるような複雑さの増大を招くことなく、固定された高次元状態に対して線形メカニズムを通じてアテンションを実現します。これにより、トランスフォーマーアーキテクチャが持つコンテキスト長の制限に縛られず、より長いシーケンスを効率的に処理することが可能になります。

さらに、モデルの状態はニューロン対間のシナプス結合に直接マッピングされるため、推論プロセスの可視化が可能となり、意思決定の解釈性を高めることができます。

最近、Pathway は BDH を基盤とした推論システム「BDH-CQ」を構築しました。このシステムは、視覚的な問題解決のためにコンテキスト内学習と潜在反復推論機能を追加で備えています。

以下のセクションで示す通り、BDH-CQ はコンテキスト内学習において特に優れた性能を発揮します。潜在状態に対する再帰的計算により、効率的な並列仮説探索が可能となり、ニューロンのコミュニティが問題解決のための異なる候補解を同時に表現できます。このモデルは、固定されたメモリコストで任意の数のデモンストレーションを処理できる推論効率を実現しています。

「顧客たちは今、高度な推論機能を実験段階から本番環境へ移行する方法を探っています。その際、パフォーマンス、効率性、スケーラビリティがすべて重要となります。Pathway が Amazon SageMaker HyperPod で BDH-CQ のトレーニングを行った取り組みは、大規模かつ高コストで高性能システムをデプロイするための有望な道筋を示しています。」

— ニコラス・タルドゥッチ、AWS EMEA スタートアップ部門 ソリューションアーキテクチャ責任者

Amazon SageMaker HyperPod で開発する BDH アーキテクチャ

Pathway は、その BDH（Brain-Driven Hybrid）アーキテクチャの開発に Amazon SageMaker HyperPod を活用しています。HyperPod は、数百から数千台の GPU にわたる分散トレーニングや推論を必要とする大規模言語モデル（LLM）やファウンデーションモデル（FM）の学習に特化したインフラソリューションです。

このサービスは、自動的なクラスターのプロビジョニング、最適化されたネットワーク構造、カスタマイズ可能なソフトウェアスタックを備えた、フルマネージドで高性能な機械学習（ML）トレーニング環境を提供します。モデル開発者にとって HyperPod は、3 つの主要なメリットをもたらします。

第一に、複雑なインフラの構築や管理の手間を省くことで、市場投入までの期間を短縮できます。第二に、自動スケーリング機能によりコスト効率を向上させます。第三に、GPU クラスター全体でほぼ線形のスケーラビリティを実現する専用ネットワークアーキテクチャを通じて、モデルのパフォーマンスを強化します。

これにより、ML チームはインフラの課題に時間を割くのではなく、モデル開発そのものに集中できます。従来のインフラアプローチと比較して、学習時間の短縮とコスト削減も同時に実現できるのです。

Transformer を超える AI アーキテクチャの開発において、Pathway が最も重視するのはトレーニングインフラの包括的な可観測性です。Amazon SageMaker HyperPod と Amazon Managed Service for Prometheus のような高度な監視ツールを連携させることで、こうしたワークロードに必要な深い洞察が得られます。

Amazon Managed Grafana ダッシュボードを活用した可視化、メトリクス収集、そして先行的な最適化機能を組み合わせることで、Pathway は複雑な分散トレーニングのパターンを可視化し、GPU の利用率やメモリの使用パターンを監視、並列トレーニング手法におけるノード間の通信効率を追跡することが可能になります。

この包括的な可観測性スタックは、新しいアーキテクチャへの試行錯誤において開発サイクルの短縮に貢献します。また、リソース集約型のトレーニングにおけるコストパフォーマンス比の最適化を実現し、トレーニング実行全体を通じて結果の信頼性と再現性を担保します。

本統合の詳細や、この可観測性スタックを迅速にデプロイする方法については、awsome-distributed-ai リポジトリ または Amazon SageMaker HyperPod のドキュメント をご覧ください。

Amazon Elastic Fabric Adapter (EFA) は、GPU 演算のための NVIDIA CUDA プラットフォームと、GPU 間の通信のための NVIDIA Collective Communications Library (NCCL) にネイティブ統合されています。これにより、データや重み、活性化値などを信頼性高く、かつスケーラブルに分散処理することが可能になります。

Pathway では、1 インスタンスあたり最大 3200 Gbps のネットワーク性能を備え、NVIDIA H200 GPU を搭載した NVIDIA の AI アクセラレーションインフラを活用した Amazon EC2 p5en.48xlarge インスタンスを使用しました。すべてのインスタンスは EFA で相互接続され、Amazon EC2 UltraCluster 上で稼働することで、GPU 間のネットワーク距離を短縮し、レイテンシを低減しています。

BDH アーキテクチャの証明：ARC-AGI で pass@2 29.2% を達成した BDH-CQ

BDH-CQ は、ARC-AGI ベンチマークにおいて、1 タスクあたり 0.0007 ドルのコストで pass@2 29.2% のスコアを記録しました。

Pathway が新たに導入した推論アプローチ、コンテキスト内でのタスク取得、そして反復的な潜在計算により、BDH-CQ は 2026 年 8 月時点の ARC-AGI-1 ベンチマークにおいて、コストと精度のパレートフロンティアを刷新しました。

ARC-AGI-1 は、未知の視覚ルールを例示する少数の「Before/After」ペアを含む AI システムです。このシステムは、そのルールを推論し、新しいグリッドに適用する必要があります。これは人間のような知能とよく関連付けられる能力です。

BDH-CQ は、再帰的な潜在状態内で反復計算を行い、候補となる回答のみをデコードします。思考連鎖として外部化して遅延や推論コストを増大させるトランスフォーマーと比較すると、BDH-CQ は例を処理する間にモデルの内部メモリを更新します。これは、長い言語化された推論プロセスを生成することなく、新しい問題を解決していく仕組みです。

ARC-AGI が探求するパターンは、情報や制約が変化する中でシステムが確実に推論を行う必要がある現実世界の課題に似ています。具体的には、サイバーセキュリティインシデントの調査、交通ネットワークの調整、リアルタイムな産業運用への対応、長期間にわたるワークフローにおける自律エージェントの操作などが該当します。BDH-CQ の新しいアプローチは、これらのアプリケーションをより低コストで、応答性が高く、信頼性の高いものにする可能性を示しています。

結論

BDH は、スケールフリーな生物学的ネットワークに着想を得た新しい大規模言語モデルのアーキテクチャです。生物学が正しく捉えた原則——局所的な相互作用、スパースな活動、持続的な状態、そして継続的な調整——を現代のシーケンスモデルに応用しています。GPU での実行に適した実装も提供されています。

BDH は、再帰的メモリと局所計算を中心とした、トランスフォーマーに代わる新しいアーキテクチャです。さらに BDH-CQ はこれを推論システムへと拡張し、コンテキストから学習しながら連続的な潜在空間で反復計算を行うことで、トークンごとの生成を超えた効率的な推論を実現します。

BDH アーキテクチャの探索と実装を開始するには、Pathway の リポジトリ から詳細な 技術ドキュメント とサンプル実装にアクセスできます。この実装は標準的な PyTorch ワークフローに対応しており、既存の ML パイプラインへの統合も容易です。

AI モデル開発の最前線に立つチームにとって、Amazon SageMaker HyperPod は、大規模な展開における効率性と信頼性を維持するための強力な手段です。同サービスは、大規模モデル学習で頻出する課題に対する堅牢な解決策を提供します。

Amazon SageMaker HyperPod について詳しく知りたい場合は、AI on SageMaker HyperPod をご覧ください。ここではワークショップやコード例、トラブルシューティングガイドを見つけることができます。また、Checkpointless training on Amazon SageMaker HyperPod の記事を読むと、障害からの迅速な回復を実現するレジリエンス機能についても知ることができます。

執筆者について

Paulo Aragão

Paulo は、AWS で顧客が Frontier AI 戦略を構築するのを支援することに注力しているシニア WW スペシャリスト ソリューションアーキテクトです。ハイパフォーマンスコンピューティング（HPC）や AIML プロジェクトに 20 年以上携わってきた経験を活かし、顧客の課題から逆算して解決策を探し出し、それを克服することに取り組んでいます。

彼のプロジェクトの詳細については、GitHub ページをご覧ください。

Rodrigo Merino

ロドリゴ氏は、AWS でジェネレーティブ AI ソリューションアーキテクトマネージャーを務めています。IoT から生成 AI まで、新技術の導入に10 年以上の経験を持つロドリゴ氏は、顧客が AI/ML および生成 AI の取り組みを加速できるよう支援しています。組織が AWS 上でモデルのトレーニングや構築を行い、エンドツーエンドの ML ソリューションを実運用に移すことをサポートするのが専門です。最先端技術と実用的なビジネス応用の間のギャップを埋めることに expertise を持ち、企業が AI の潜在能力を最大限に引き出せるよう支援しています。

ルドヴィック・アルヌール

ルドヴィック氏は、Pathway のフロンティア AI モデル ソリューションアーキテクトです。企業顧客向けに高度な AI ソリューションの設計と展開を専門としています。ソルボンヌ大学で機械学習の博士号を取得し、ICML、ICLR、AISTATS などの主要カンファレンスで研究成果を発表しています。深層学習、マルチモーダル AI、大規模言語モデルやビジョンモデルにおける経験が豊富で、研究プロトタイプを実用的なシステムへと完成させる実績を持っています。