誰も構築しなかった小規模モデル基盤 — Filip Makraduli, Superlinked

GPU の無駄をなくす：小規模モデル基盤「Sie」が解決するコンテキスト劣化とコスト効率の壁

大規模言語モデル（LLM）への依存が高まる中、AI エージェントやワークフローにおける最大のボトルネックは「コンテキストの劣化」と、それを補うための非効率的なインフラ運用です。Superlinked の Filip Makraduli 氏は、単に GPU を増やすだけでは解決できない小規模モデル特有の問題を指摘し、異なるアーキテクチャのモデルを柔軟に切り替えながらコストを抑える新基盤「Sie」を発表しました。

コンテキスト劣化を小規模モデルで防ぐ

AI エージェントが長期的なタスクを実行する際、入力される文脈（コンテキスト）が増えすぎると、モデルの出力品質が急激に低下する「コンテキスト劣化」という現象が発生します。これは Chroma などの研究でも実証されている普遍的な課題です。

コンテキストが増えるほど品質は低下します。したがって、このコンテキストを管理できることが重要です。

Filip 氏は、この問題を回避するために大規模モデルに頼るのではなく、小規模モデルを活用したデータ前処理やツール呼び出しが有効だと説きます。例えば、名前付きエンティティ認識モデルを使ってオントロジーを生成したり、入力データをフィルタリングしてトークン数を削減したりする手法です。

「コード検索（grep）を使えばいいのでは？」という指摘に対し、Filip 氏は「データの前処理を行うことで、システム全体がより良く機能する」と反論します。コミュニティでもアンドレイ・カルパティ氏や Chroma チームが同様のアプローチを採用しており、小規模モデルをエージェントの「前処理役」や「ツール呼び出し役」として使うことが、コンテキスト管理の強力な解決策となっています。

単一 GPU で複数モデルを動的に切り替える「ホットスワップ」

従来の推論インフラでは、「計算リソースが足りないなら GPU を増やせばいい」という発想が一般的です。しかし、小規模モデル（埋め込みモデル、再ランク化器、NER モデルなど）はメモリ使用量が数ギガバイト程度と小さく、各モデルに個別の GPU を割り当てると、大量のアイドル状態が発生します。

各モデルに GPU を割り当てると、多くのアイドル状態のスペースが浪費されます。GPU が使われず、アイドル化したままになります。

この非効率さを解消するため、Filip 氏が提案するのが「単一 GPU で複数モデルを動的に切り替える仕組み」です。使用頻度の低いモデルを自動的に削除し（LRU エビクションポリシー）、必要なモデルだけを高速にロードする「ホットスワップ」機能を導入しました。

これにより、GPU あたりの利用率が大幅に向上し、コスト削減を実現しつつ、異なるツールやモデル間での素早い切り替えが可能になります。例えば、一度は再ランク化器を使い、次は別の分類モデルを使うといった柔軟なワークフローも、単一 GPU でシームレスに処理できます。

多様なアーキテクチャを統一的に扱う推論エンジン

市場には数百万ものオープンソースモデルが存在し、それぞれが異なるアーキテクチャを持っています。BERT や Qwen、ColBERT など、モデルによって Flash Attention の実装や位置埋め込み（Position Embeddings）の仕組みが全く異なります。

BERT では絶対的な位置参照を使用できますが、Qwen では回転位置埋め込み（RoPE）が使われています。これらを統一して処理する必要があります。

既存の推論サーバーでは、これらの違いに対応しきれないケースが多々あります。Filip 氏は、フォワードパスの再実装とアテンション最適化を通じて、多様なアーキテクチャを統一的に扱えるエンジンを構築しました。

具体的には、可変長の Flash Attention をサポートし、リクエストごとのトークン数に合わせてパディングを行わないことで計算資源を節約しています。また、クエリ・キー・バリューの統合方法や、スコアのみを出力する再ランク化器など、モデル固有の挙動を正しく解釈できる柔軟な設計が特徴です。

モデルとインフラを統合した「Sie」の登場

Filip 氏は、推論における成功には「モデルサポート（Yin）」と「インフラストラクチャ（Yang）」の両輪が必要だと考えます。前者は多様なオープンソースモデルへの対応、後者はルーティング、自動スケーリング、キューイング、GPU プロビジョニングなどの運用機能です。

この 2 つを統合したのが、今回ソフトローンチされたオープンソース基盤「Sie」です。

• エンドツーエンドの自動化: ルーティングや Prometheus/Grafana を使った監視コードを手書きする必要はありません。KEDA を活用した自動スケーリングにより、GPU のアイドル状態を防ぎます。
• 柔軟なデプロイ: モデルは設定ファイルで定義するだけで、Terraform や Helm charts、Docker イメージを通じて簡単に展開できます。
• ハードウェアの抽象化: ユーザーは GPU の種類やスポットインスタンスの有無を気にせず、システムが自動的に最適なリソースを割り当てます。

片方だけではありません。これらを統合してコードを書くのではなく、エンドツーエンドの仕組みを提供し、モデルを素早く扱えるようにします。

Sie は、開発者がインフラ構築に時間を割かずに、AI エージェントの実用化とコスト効率の両立を実現するための基盤として公開されました。

まとめ

Filip 氏の提唱する「小規模モデル基盤」は、LLM の限界を補い、実運用におけるコストとパフォーマンスのバランスを劇的に改善する可能性を秘めています。Sie のようなオープンソース基盤が普及すれば、開発者は複雑なインフラ構築から解放され、AI エージェントの実用化を加速させることができるでしょう。