NVIDIA、ローカル AI リクエストを分散するオープンソース仮想推論ルーター「PAIR」を発表

マルチエージェントワークフローは、ローカル推論の形を変えました。リードエージェントがタスクを分解し、サブエージェントを生成します。一見すると一つのユーザーリクエストに見えても、実際には数十もの独立したモデル呼び出しに分解されます。単一のローカルエンジンに向けられたこれらの呼び出しは、同じ実行スロットを巡って競合します。その結果、キューは伸びる一方で、同じネットワーク上のワークステーションやラップトップ、DGX Spark はアイドル状態のまま放置されるのです。

NVIDIA Personal AI Router (PAIR) は、まさにこのボトルネックを解消するために設計されました。今週発表された PAIR は仮想推論ルーターです。ホームネットワーク上で互換性のあるマシンを発見し、独立した推論リクエストをそれらに分散してスケジューリングします。これは新しい推論エンジンではありません。Ollama や LM Studio が引き続き、PAIR によって選択されたノード上でモデルを実行します。

導入は可能でしょうか？はい、可能です。PAIR は本日、Windows、macOS、Linux 向けの署名付きインストーラーを備えたパブリックベータ (v0.1.1) として提供を開始しました。また、完全なソースコードは Apache 2.0 ライセンスで GitHub に公開されています。動作はローカルネットワーク上のみで行われ、インターネット接続が必要なのはモデルのダウンロード時のみです。

新しい API は不要

最も重要な設計上の決断は、PAIR がクラスター API を導入しない点にあります。既存のエージェントが使用している Ollama 互換および LM Studio 互換のインターフェースをプロキシ化し、各エンジンがデフォルトで使用するポートを引き受けます。もしハーンレスが別のポートで待機している場合でも、PAIR のエンジン設定からプロキシポートを構成可能です。また、リポジトリでは OpenAI 互換のプロキシエンドポイントも公開されています。

その結果、既存のエージェントハーンレスに変更は一切不要です。エージェントが「何を」実行するかを決定し、PAIR が「どこで」実行するかを決定します。

発見、ペアリング、転送

PAIR は mDNS を使用して近隣のシステムを自動的に検出します。検出に失敗した場合は、IP アドレスでノードを追加できます。信頼関係の確立には、招待側のマシンに表示される 6 桁の PIN コードを、招待された側に入力する必要があります。このペアリングが完了するまで、ノード間の通信はすべてブロックされます。その後、生成された証明書を用いた mTLS で、ペアリングされたノード間のトラフィックを保護します。

各ノードでは Ollama または LM Studio が稼働しています。PAIR はペアリングされたシステム上でエンジンとモデルのダウンロードを開始し、跨機種のセットアップ作業の大半を不要にします。

スケジューラーがノードを選択する仕組み

必要なエンジンが有効化され、かつ要求された正確なモデルが存在する場合のみ、ノードはリクエストの対象となります。クラスター全体でモデルが同一である必要はなく、異なるシステムが異なるモデルを保持していても構いません。PAIR はモデルの所在地に基づいてルーティングを行います。同じタグを持つモデルを複数のノードにロードすれば、単に処理可能なノードのプールを広げることができます。

スケジューラーは各リクエストに対して 5 つのシグナルを評価します。ノードがオンラインで準備ができているか。サポート対象のエンジンが有効化されているか。要求された正確なモデルが存在するか。現在のノードおよびエンジンのジョブ負荷はどうなっているか。既存の GPU 使用率はどの程度か。

これはワークロードレベルでの並行処理であり、境界は明確です。PAIR は各リクエストを 1 つの適格なノードに割り当て、そのリクエストが終了するまでそのノードに留めます。VRAM をプールしたり、複数の GPU を結合してより大きなアクセラレーターとして扱ったり、単一のリクエストを複数マシンに分割したりはしません。

デモの数値と注意点

NVIDIA のデモでは、PAIR を「Hermes Desktop」と連携させ、架空の家庭用メールボックスに対して 5 つのサブエージェントによるワークロードを生成しました。各ノードで Ollama が Qwen 3.6 35B A3B を実行します。

RTX Spark ラップトップ単体では、このワークロードの実行に平均 18 分かかりました。一方、RTX Spark ラップトップ、DGX Spark、そして RTX 5090 で構成される 3 デバイスの PAIR クラスターでは、平均 8 分 48 秒で完了しました。

サポート対象ハードウェアと要件

PAIR は、GeForce RTX 20 シリーズ以降の GPU、Turing アーキテクチャ以降の RTX PRO ワークステーション用 GPU、DGX Spark、および Apple M4 以降のチップに対応しています。Windows、Linux、macOS の各ノードは x64 および arm64 で相互に連携可能ですが、Windows on ARM は実験的な機能です。

検証済み構成では、RAM が 8 GB 以上、ディスク容量は推奨 20 GB とされています。その他の Linux ディストリビューションはソースコードからのビルドが必要です。

主なポイント

• PAIR は各独立したリクエストを単一のノードにルーティングします。VRAM のプールやモデルのシャード化は行いません。
• 既存の Ollama や LM Studio エンドポイントをプロキシするため、エージェントハーンス側の修正は不要です。
• 利用可否は、ノードの準備状況、有効化されたエンジン、対象モデルの存在有無、ジョブ負荷、GPU の利用率によって決定されます。
• NVIDIA の 5 サブエージェントによるデモでは、単一ラップトップでの 18 分から、3 デバイス構成での 8 分 48 秒へと短縮されました（非公式データ）。

Apache 2.0 ライセンスのベータ版であり、現在のスケジューリングポリシーは VRAM や GPU クラス、モデルのウォームアップ状態を考慮しない「ブラインド」な方式です。

本記事は MarkTechPost にて公開された「NVIDIA Releases Personal AI Router (PAIR): An Open Source Virtual Inference Router that Distributes Local AI Requests Across RTX, DGX Spark, and Mac Nodes」の翻訳です。