Anyscale、企業知能の確立に向けた学習ループの重要性を提唱

AI は企業の価値方程式を書き換えています。私たちは「トークン数の最大化」に注力する時代から、差別化された知能を築く未来へと移行しています。

企業は戦略を転換し、自社の事業にとって持続的な堀となるような知能の構築に注力しています。その結果、世界的なテックハブでは、ビルの壁面やバス、電車など至る所に「Own Your Intelligence（自社の知能を所有せよ）」という言葉が溢れるようになりました。しかし、これにはいったいどのような意味があるのでしょうか？また、そこへ到達するには何が必要なのでしょうか。

本稿では、「自社の知能を所有する」という問いに対する答えとして、我々が考える「ラーニングループ」について解説します。ラーニングループとは何か、企業がそれを構築するためにたどる成熟曲線、実現に必要なエンジニアリングへの投資、そして Ray や Anyscale がこの図景においてどのような役割を果たすのかについて取り上げます。

ラーニングループとは何か？

ラーニングループとは、独自データによって駆動される「データのキュレーション」「カスタムモデルのトレーニング」「推論」を結びつける、複合的な増幅効果を持つフライホイールです。この概念自体は新しいものではありません。しかし、LLM やエージェントシステムが主流となった現在、ラーニングループを構築するために必要な規模、複雑さ、そしてインフラへの投資は以前とは比較にならないほど膨大になっています。また、その構築を先延ばしにすることによるビジネスへのコストも、毎月増え続けています。

企業がラーニングループを構築する上で直面する課題は主に 3 つあります。

大規模な独自データセット（テラバイトからペタバイト規模）のキュレーション、特にマルチモーダルデータを扱うこと

カスタムモデルのトレーニングでは、計算資源の不足やリソースの分散化、信頼性の課題に直面します。ジョブが数週間にもわたって複数の GPU ノードにまたがるためです。

推論のスケーリングには、レイテンシ要件を満たすための弾力性と、スタック全体を跨ぐパフォーマンスチューニングが必要です。

一度デプロイされると、学習ループは複利効果を生み出します。エンドユーザーインターフェースがデータを収集し、そのデータは処理・キュレーションされた上で、改善されたカスタムモデルやエージェントのトレーニングに活用されます。評価（evals）によるテストを経て、推論のために再びデプロイされるのです。このループを回転させるたびに、ビジネスにとってパフォーマンスが高く、効率的で、コスト効率の良い差別化要因が蓄積されていきます。

LinkThe Maturity Curve

学習ループの高度な差別化を実現するには初期の複雑さとコストがかかるため、成熟度曲線が浮かび上がってきます。

ステップ 1：プロンプトを自社で管理する： モデルはレンタルし、自社独自のプロンプトと評価（evals）の開発に時間を投資します。基盤インフラへのさらなる投資を行う前に、ROI（投資対効果）の実証を目指しましょう。

利用量に応じてコストが線形的、あるいはそれ以上に増加するのは当然です。なぜなら、各トークンが「レンタルされた知能」「実行環境」「インフラ」という長いチェーン上の個別項目として扱われるからです。誰もがアクセス可能なモデルや知能を利用している限り、自社の差別化は薄いプロンプトとワークフローの層に依存することになります。

ステップ 2：重みと実行環境を自社で所有する

コスト、パフォーマンス、信頼性が差別化の鍵となる段階では、他社が提供する独自モデルへの依存を辞め、自社のデータを活用して「モデルの重み」のレベルで差別化を図うためのインフラに投資すべき時です。

この層では、データの選別とトレーニングパイプラインの構築が不可欠になります。これらをトークン数に応じて課金される仕組みにしてはいけません。選別や学習は安定した負荷の高い作業であり、トークン課金で支払うのは、自社のスケジュールで管理できるはずの作業に対する割高な手数料に過ぎません。ここからが、実行環境への投資の本格始動です。これにより、ワークフローの実行方法を自社で制御できるようになり、インフラへの投資に対してコスト、パフォーマンス、信頼性を最適化できます。

コストとパフォーマンスに加え、このステップではセキュリティとデータ主権も差別化の新たな要素となります。これらのシステムは、独自のデータを移動・変換・活用し、最終的に「トークン」として価値に変えることを目指します。チームが GPU インフラに数千万ドルから数億ドル規模の設備投資（CapEx）を行うのであれば、そのデータと、そこから生み出されるトークンを完全に制御できる必要があります。

ステップ 3：ループの所有

データ、トレーニング、推論の基盤が整ったら、より深い知性の壁（モート）を築くために、このループを所有し最適化する道を進むことができます。

各サイクルをより高速に、かつコスト効率よく実行したいものです。その結果、組織のコスト意識も「トークンあたりのコスト」から、「処理した画像 1 枚あたりのコスト」のような「作業単位あたりのコスト」へと変化していくはずです。

同じリソースでより多くの作業を行い、ループを回すたびにさらに差別化された成果を生み出すことを目指します。

リンク：アーキテクチャ

これらのステージ間を移動するごとに、差別化は進みますが、同時にスタックのより深い層を所有することにもなります。その際、各層がどのように連携して、大規模かつ低コストで知能を提供するかという点が極めて重要になります。

これらすべてのループは、実際には複数のワークロードから成り立っています。データ処理、トレーニング、シミュレーション、推論など、それぞれに異なるハードウェア要件とオーケストレーションの必要性があります。これらのワークロードが抱える課題は、多くのユーザーやワークロードを多数のクラウドやアクセラレーター上で実行する際のプラットフォーム規模拡大の課題と衝突します。

私たちが目にするのは、チームが単一のワークロードから複数のワークロードへとスケールでき、広大な計算リソース群（コンピュート・フリート）を管理できる能力を備えた、新しいアーキテクチャです。

このアーキテクチャでは、Ray をスケーラブルで耐障害性の高いワークロードスケジューリングの基盤として活用しています。また、競合するジョブの優先順位付けには、Kueue、Kai、Volcano、Yunikorn といったワークロードオーケストレーターを採用しています。

このスタックを統括するのがグローバル制御プレーンです。インフラから制御プレーンまで、その間のあらゆるレイヤーからの情報とアクセス権限を統合し、統一されたスタックを構築します。制御プレーンの目的は、開発者にもエージェントにも適切なインターフェース、アクセス権、そして観測性を提供することにあります。これには、グローバルレベルでのジョブ管理、配置、優先順位付け、プリエンプション（割り込み）が含まれます。もちろん、これらは個々のクラスターやワークロードレベルの状況と密接に連携して行われる必要があります。

ユーザーが 100 基の GPU を必要とするリクエストを出した際、Ray と Kubernetes は配置を調整します。このとき、ネットワークトポロジを意識することがよく求められます。また、Ray や Kueue といったツールは、利用可能な容量やジョブの優先度、他の実行中のジョブへの影響を評価します。

これらのシステム間の引き継ぎが、ジョブの成否、GPU の利用率向上か停滞、そしてチームが緊急アラートに追われるのか、それとも安眠できる夜のどちらになるかを決定づけます。

学習ループを構築する過程で得られるのは、「正しいことをデフォルトで行える」ような黄金ルートを提供するスタックです。これはあらゆるクラウド環境や基盤において実現されるべきものです。

これらの課題と、その解決策となるスタックこそが、Anyscale と Ray で私たちが目指してきたものです。

詳細は こちら をご覧ください。