Couchbase、Amazon Bedrock で多モデル AI 基盤を構築

この記事は、Couchbase の Tushar Madaan と共同執筆したものです。

データベースクエリの生成やインデックスの推奨、そして多段階の対話ワークフローのサポートを可能にする AI 搭載の開発者向けアシスタントを構築するには、単一の大規模言語モデル（LLM）だけでは不十分です。必要なのは、柔軟性、拡張性、そして回復力に優れた推論アーキテクチャです。

Capella iQ のエンタープライズ利用が増えるにつれ、Couchbase は AI アプリケーションを拡張し、複数の基盤モデル（FM）プロバイダーに対応することで、より高い柔軟性と運用上の回復力を確保するとともに、多様な顧客のデプロイ環境への対応を実現しました。Couchbase が必要としたのは、事前容量割当てを行わずに AWS リージョン全体で高可用性を維持しつつ、トラフィックの急増にもスケールできるモデル非依存型の推論アーキテクチャです。

本稿では、Anthropic の Claude シリーズを活用して Capella iQ を支えるために Couchbase が Amazon Bedrock を採用した経緯と、マルチモデルアプローチの背後にあるアーキテクチャ上の判断、そして実運用で得られた効果について解説します。

ソリューション概要

以下の図は、Capella iQ と Amazon Bedrock の連携における本番環境のアーキテクチャを示しています。

本アーキテクチャは、可用性を高めるために AWS Control Plane にて 2 つの AWS リージョン（us-east-1 と us-west-2）にまたがってホストされています。us-east-1 内では、Amazon Elastic Kubernetes Service (Amazon EKS) クラスター上で Capella iQ のマイクロサービスが稼働しています。

• cp-api ポッド：開発者からのリクエストを受け取り、推論呼び出しを調整する主要な API サービスです。このポッドは、仮想プライベートクラウド（VPC）のインターフェースエンドポイントを通じて Amazon Bedrock の呼び出しを実行します。
• cp-internal-api ポッド：サービス間の内部通信とモデルルーティングロジックを担当します。
• cp-ns ポッド：モデルベンダーの設定、テナントレベルでのオーバーライド、組織設定など、名前空間レベルの構成を管理します。

Amazon Virtual Private Cloud (Amazon VPC) インターフェースエンドポイント により、E クラスターから Amazon Bedrock ランタイムへのプライベート接続が提供されます。このエンドポイントは、Bedrock のインフラストラクチャを AWS が管理する領域へ推論トラフィックをルーティングし、リージョン間推論 (CRIS) を米国地域内（us-east-1、us-east-2、us-west-2）でサポートします。これにより、需要の急増時における自動フェイルオーバー、負荷分散、および可用性の向上が実現されます。

仕組み

開発者が Capella iQ にアクセスし、SQL++ クエリの作成を求めたり、インデックスの推奨を受けたり、複数回の対話を継続したりする際、そのリクエストは以下のパイプラインを端から端まで通過します。

リクエストの取り込み：開発者の自然言語による要求は cp-api ポッドに到達します。ここでは認証処理とセッションコンテキストの取得が行われ、要求タイプに応じた適切なプロンプトテンプレートが選択されます。

推論のオーケストレーション：cp-api ポッドは推論ペイロードを組み立てます。これにはプロンプトの構築、多回対話のための会話履歴の注入、そして cp-ns ポッドから取得したテナント固有のモデル設定の適用が含まれます。また、cp-internal-api ポッドがモデルベンダーの選定と組織レベルでのルーティングオーバーライドを解決します。

プライベートモデルの呼び出し：cp-api ポッドは要求を VPC インターフェースエンドポイントを経由して Amazon Bedrock ランタイムへ転送します。完全なプロンプトとレスポンスペイロードは AWS 基盤内に留まり、決してパブリックインターネット上を通過することはありません。この設計により、企業のセキュリティ要件やデータ所在地の要件を満たしています。

クロスリージョン推論：Amazon Bedrock は「Cross-Region Inference」機能を用いて、推論要求を最適な米国リージョン（us-east-1、us-east-2、または us-west-2）へ自動的にルーティングします。これにより、要求は米国の地理的範囲内に保持されます。需要の急増やリージョンのパフォーマンス低下が発生した場合でも、アプリケーションレベルのロジック変更や手動介入なしに、利用可能な他のリージョンへ要求が転送されます。

レスポンスの配信：モデルからの応答（生成された SQL++、インデックス推奨事項、または対話形式の回答）は、同じプライベート経路を介してストリーム形式で戻ってきます。cp-api ポッドは結果を開発者に Capella iQ インターフェース内で提供するために、レスポンスの正規化とフォーマット処理を行います。会話の状態は多回対話の継続性を保つために永続化されます。

この設計により、モデルのアップグレードやプロバイダーの変更が発生しても、名前空間層での設定更新のみで済み、コードの変更やダウンタイム、開発者体験への悪影響は一切生じません。

モデル評価

本番環境への導入前に、チームは Capella iQ の主要なワークフローすべてを網羅するベンチマークスイートを策定しました。対象となるのは、SQL++ の生成、インデックスの推奨、クエリの説明、iQ Insights の生成、そして多段階対話です。Amazon Bedrock で利用可能な複数のモデルを、標準化されたプロンプトとレスポンスのテストセットを用いて評価しました。スコアリングは機能の正しさ、決定性、レイテンシ、フォーマットの整合性の 4 つの観点に焦点を当てて行われました。

Anthropic の Claude Sonnet 4.5 は、BIRD メソドロジー をベースにした内部評価において約 76% の精度を達成し、すべてのワークフローで本番品質の基準を満たしました。また、重大な性能低下も確認されませんでした。これにより、Claude Sonnet 4.5 が構造化コードの生成から自然言語による説明、多段階推論に至るまで、Capella iQ の多様な負荷プロファイルに対応する初期の本番モデルとして採用できることが裏付けられました。さらに重要なのは、この評価が、Amazon Bedrock で利用可能になる新しいモデルを迅速に選定・導入するためのフレームワークとしても機能することを示した点です。

Amazon Bedrock の強み

Amazon Bedrock は、モデルインフラの管理を不要にする完全マネージド型のサーバーレス推論環境を提供します。基盤モデルのカタログが拡大しているため、Couchbase 側では推論パイプラインを再設計することなく、新しい世代のモデルを評価し、導入することが可能です。また、Cross-Region Inference（クロスリージョン推論）機能により、通常であれば大規模なカスタムエンジニアリングが必要となる耐障害性と地理的な分散性を、標準で備えています。

Couchbase にとって、Amazon Bedrock を通じて単一の API で複数のモデルファミリーにアクセスできる点は、プロバイダーに依存しないアーキテクチャの構築という目標と完璧に合致しています。このアーキテクチャでは、どのモデルを使うかはコードの変更ではなく、設定項目として選択できる仕組みになっています。

エンタープライズ顧客は、デプロイの柔軟性と、推論トラフィックが厳格な管理下にある AWS の環境内に留まることを確信したいと考えています。Amazon Bedrock と統合することで、Couchbase は Capella iQ 内の AI 支援ワークフローにおいて、AWS のセキュリティ体制、データ所在地の制御機能、および SOC、HIPAA、ISO などのコンプライアンス認証を顧客に提供できます。

エンジニアリング上の考慮点

Amazon Bedrock がインフラの複雑さを大幅に軽減した一方で、エンタープライズ規模で本格的なマルチモデル推論レイヤーを構築する過程では、独自の課題がいくつか浮き彫りになりました。

クロスリージョンフェイルオーバーのテスト: 最も大きな課題は、クロスリージョンフェイルオーバーシナリオの検証中に浮き彫りになりました。us-east-1 と us-west-2 の間で、エンドポイントの一部低下やリージョンごとのスロットリングなど、さまざまな障害モード下で推論トラフィックが正しくルーティングされるかをテストするには、開発環境では再現が難しい条件をシミュレートする独自テストハネスの構築が必要でした。チームは AWS と緊密に連携し、応答品質やレイテンシーに影響を与えることなくリクエストが自動的に健全なリージョンへ再ルーティングされることを検証しました。また、本番環境での運用準備を整えるため、タイムアウトとリトライの設定を調整しています。

大規模モデルベンチマーク: 複数の候補モデルを対象に包括的なベンチマークを実行すると、結果を公平に比較する際に複雑さが生じました。トークン化の違いやコンテキストウィンドウの扱い方、レスポンスフォーマットの差異などにより、スコアを意味ある形で比較するには慎重な正規処理が不可欠でした。チームはモデル選定時の手作業負荷を減らし、再現性を確保するため、自動化された評価パイプラインを構築しました。

教訓

• プロバイダー抽象化の投資効果: プロバイダー抽象化レイヤーへの早期投資により、Capella iQ のユーザー体験を損なうことなく Bedrock への統合を実現できました。これにより、コアとなるアプリケーションロジックを再設計することなく、将来新しいモデルやプロバイダーを採用する際にも柔軟に対応できる体制が整っています。

• クロスリージョン推論による運用の簡素化: CRIS は、事前容量の確保やカスタムフェイルオーバーロジックを必要とせず、リージョン間でのバーストワークロードを処理しました。これにより、サービスの可用性が向上し、運用の複雑さが軽減されています。

• マルチモデル対応には専念した投資が必要: 本番環境で使えるマルチモデルサポートを実現するには、ベンチマーク基盤、プロンプトエンジニアリング、観測性（オバザビリティ）への持続的な投資が不可欠です。これは一度きりの設定作業ではなく、継続的な取り組みとして計画する必要があります。

今後の計画

Couchbase は現在、Amazon Bedrock の カスタムモデルインポート 機能を活用し、ファインチューニングを施した小規模なモデルの導入を通じてコスト最適化を検討しています。タスク固有の知識を軽量なモデルに凝縮することで、インデックス推奨やクエリ説明など、高ボリュームかつ範囲が明確なワークロードにおける推論あたりのコスト削減と品質維持を目指します。Claude Sonnet 4.5 を出発点とし、利用可能な新モデルへと順次進化させるこのアプローチは、マルチモデルアーキテクチャの価値を如実に示しています。すなわち、管理された単一のインフラストラクチャ内で、適切なタスクに最適なモデルを選択しつつ、最新のモデル技術の恩恵を継続的に取り入れることです。

結論

Couchbase が Capella iQ に Amazon Bedrock を採用した事例は、SaaS アプリケーション内で堅牢なマルチモデル AI アーキテクチャを構築する方法を示すものです。本番環境では、Amazon Bedrock 上の Claude Sonnet 4.5 が、Capella iQ の主要ワークフローにおいて約 76% の精度を達成しました。レイテンシとスループットの目標も許容範囲内で満たされ、制御されたトラフィックテスト中にもユーザー体験に影響する品質の低下は確認されていません。エンドユーザーは、Amazon Bedrock が提供する管理インフラやリージョン横断の耐障害性を背景に、これまで Capella iQ から期待していたのと同じ品質とレスポンス性を得ています。

プロバイダー非依存のアーキテクチャと厳格な評価フレームワークを整備したことで、Couchbase は Claude Sonnet 5 や次世代モデルなど、利用可能になった新しい基盤モデルを迅速に資格付けし、採用する態勢が整っています。プロバイダーの抽象化への投資、段階的なロールアウト、そして標準化されたベンチマークにより、Couchbase は開発者体験を損なうことなく、モデルの進化をコードの変更ではなく設定項目として扱える本番グレードの実装を実現しました。

著者について

Tushar Madaan

Tushar氏はCouchbaseのAIプロダクトマネージャーとして、生成AIやエージェント型アプリケーション、インテリジェントなデータ体験におけるエンタープライズ級機能の開発に注力しています。AI戦略、製品イノベーション、開発者体験という3つの領域が交差する場所で活動しており、新興のAI技術を現実的なビジネス課題に対する実用的でスケーラブルなソリューションへと変換することに情熱を燃やしています。また、AIプロダクト開発の知見や進化し続けるエンタープライズAIの動向について発信することも楽しみの一つです。

Ayushi Gupta

Ayushi氏はAWSのシニア・テクニカルアカウントマネージャーとして、組織と連携し最適なクラウドソリューションの構築を支援しています。パフォーマンス、セキュリティ、コスト効率とのバランスを取りながら、ビジネスに不可欠なアプリケーションが確実に稼働するよう努めるのが専門です。GenAI（生成AI）へのイノベーションへの情熱を持ち、堅牢なデータ保護とコンプライアンス基準を維持しつつ、明確なビジネス価値をもたらすクラウド技術の活用を顧客に提案しています。