KDDI、Google Cloud AI で高速・高信頼な消費者向け RAG アプリ「Buffmee」を構築

消費者向け生成 AI アプリを開発する際、多様なメディアタイプにわたって高品質な生成と高速な応答時間のバランスを取るのは容易ではありません。日本の主要通信キャリアである KDDI は、この課題に正面から取り組み、自社で開発した消費者向け検索拡張生成（RAG）アプリ「Buffmee」を立ち上げました。

Buffmee は「AI があなたの成長をサポートする」というコンセプトに基づいた対話型 AI サービスです。書籍、雑誌、ウェブメディアなど 100 以上の情報源に根ざして回答を提供することで、ユーザーは情報の検索や要点の要約、そして自分だけの学習や趣味の探求を安全に行えます。出典を明記する仕組みにより、情報の信頼性への不安を軽減し、知識を深めることができます。

アプリ立ち上げの一環として、エンジニアチームは書籍や雑誌など多様な独自コンテンツを基盤に据える必要がありました。しかし、目標とする応答時間を達成できないほどのレイテンシ（遅延）の問題に直面し、ハルシネーション（幻覚・誤情報）のない結果を保証する信頼できる方法が求められていました。

これらのパフォーマンス目標を達成するためには、組織は AI 評価とリアルタイムのボトルネック特定のための体系的なアプローチが必要です。そこで私たちは、KDDI がアプリケーションの成功ある立ち上げに貢献した自動化された評価フレームワークとパフォーマンス最適化手法について共有します。

結果は非常に鼓舞されるものでした。KDDI は全体のアプリケーション応答遅延を 38% 削減し、目標とする応答性能を達成しました。また、TTFT（Time to First Token）もほぼ 18% 改善しています。

「私たちのビジョンは、一度取り込まれたコンテンツが即座に動作する RAG システムとして機能するプラットフォームにありました。Google の丁寧で実践的なガイダンスのおかげでそれが実現し、その支援に心から感謝しています。」— KDDI AI プロダクト部門 小野田俊也氏

これらのパフォーマンスと精度の向上により、Buffmee はユーザーが対話型 Q&A や詳細な分析を通じてお気に入りのメディアを安全に探索できるようになりました。コンテンツプロバイダーに対しては厳格な信頼性とコンプライアンスを維持しつつ、非常にパーソナライズされた体験を提供しています。

では、彼らがこれらの成果をどのように達成したのか、詳しく見ていきましょう。

多様なコンテンツに対する自動化評価の確立

従来の手動テストには多大な労力が必要であり、大規模なコンテンツライブラリへの対応は困難です。そこで開発チームは、Gemini Enterprise Agent Platform Evaluation Service を活用した体系的な AI 評価プロセスを設計しました。

LLM-as-a-Judge や Rule of Hundreds といった自動評価フレームワークを導入したことで、チームは人手に頼る時間のかかるテストからデータ駆動型のプロセスへと移行しました。膨大なドキュメントコーパスを取り込み、数百の自動化された評価テストを構築し、各ユースケースにおける回答の信頼性を測定するための包括的なベンチマークデータセットを整備したのです。その結果、グラウンデッドネス（根拠に基づく度合い）スコアが 25% 向上し、極めて正確で信頼性の高い出力を提供できるようになりました。

*KDDI の自動評価ループ：AI が質問を生成し回答を採点する一方、人間が閾値の調整を行い、エッジケースでの失敗分析を行います。

エージェント型ループでボトルネックを特定しパフォーマンスを最適化

応答速度の向上を目指し、チームは BigQuery Agent Analytics と、Agent Development Kit (ADK) のログ解析エージェントを導入しました。実際のプロダクションログを分析することで、スキル分担やプロンプトの肥大化（特に複雑な多ページシステムプロンプトの場合）が Time To First Token (TTFT) にどのような影響を与えるかを可視化しました。

チームはインライン統合されたスキルを含むシステムプロンプトの最適化と、サブエージェントのルーティング見直しを行いました。これにより、応答精度を損なうことなく、深いスタックにおけるボトルネックをリアルタイムで特定し解決することが可能になりました。

信頼性の高い評価のための 4 つのコア原則

これらの成果を実現するために、チームは以下の 4 つのコア技術プラクティスを導入しました：

バイナリ評価への移行: チームは、重要な指標において曖昧な 1〜5 段階の評価から、「合格 (1) / 不合格 (0)」という二値評価システムへと選択的に切り替えました。これによりばらつきやノイズを最小限に抑え、自動化の精度向上に貢献しています。

戦略的なコンテンツサンプリング: すべての文書を評価しようと試みるのではなく、チームはコーパス全体を「ファイル形式（Web 記事、EPUB、PDF、構造化データ）」と「メディア構成（テキスト重視、画像重視、または混合）」という 2 つの軸で分類するグリッドに整理しました。この難易度グリッドの各セルから代表的なサンプルを選択することで、包括的なテストカバレッジを維持しつつ、評価作業量を 75% 削減することに成功しています。

製品判断に基づく閾値の設定: デフォルトのツールパラメータだけに頼るのではなく、プロダクトオーナーがランダムに抽出した回答と自動スコアリング結果を併せてレビューし、「ユーザー体験にとって出荷可能なレベル」とは具体的に何を指すのかを調整・定義しました。

巨大なプロンプトのモジュール化と ADK スキルへの分割: 800 行を超える巨大なシステムプロンプトは、LLM の注意散漫（アテンションドリフト）やレイテンシの悪化を引き起こす可能性があります。そこでチームは、機能を基準にプロンプトを分割し、Agent Development Kit (ADK) スキルとして実装しました。これにより必要なロジックのみを動的に読み込み、レスポンス時間の最適化を図っています。

始め方

スケーラブルで信頼性の高い生成 AI アプリケーションを構築するには、自動化された評価と深いパフォーマンス分析の両方が不可欠です。これらの手法を自分たちのアプリケーションに応用するには：

品質は、Gen AI 評価サービス を活用して体系的に測定しましょう。

エージェントの構築には Agent Development Kit を使用し、段階的な情報開示を意図的に取り入れてください。

エージェントには Agent Search で根拠を持たせ、検索クエリを検証してください。