NVIDIA、LLM トラフィックをルーティング・変換する Rust プロキシ「Switchyard」を発表

記事の3ポイント

1. 1

   多様な LLM API の統一インターフェース

   Switchyard は OpenAI Chat Completions、OpenAI Responses、Anthropic Messages の 3 形式を受信し、内部でプロバイダー非依存な型に変換して処理する。これにより、エージェント側の API とバックエンドの API を一致させる必要がなくなる。

2. 2

   高度なルーティングアルゴリズムの実装

   同社は passthrough（単一転送）、random（重み付きランダム分散）、llm_classifier（能力判定による振り分け）の 3 つのルーティングモードを提供する。特に llm_classifier は、能力評価に基づいて弱モデルと強モデルを動的に切り替える機能を持つ。

3. 3

   3 つの実装パスの提供

   ユーザーは CLI ランチャー（コーディングエージェント向け）、スタンドアロンサーバー、あるいは HTTP スタックを持たない Rust 組み込みライブラリのいずれかを選択して導入できる。