スキルと MCP を組み合わせて文脈のギャップを解消 — Pedro Rodrigues, Supabase

AI エージェントの信頼性を劇的に高める「スキル」設計：MCP だけでは足りない理由と Supabase の実践例

AI エージェントが製品固有の知識を欠くことで生じる「文脈のギャップ」は、単なるツール連携（MCP）の導入だけでは解決できません。Supabase の AI ツールエンジニアである Pedro Rodrigues 氏は、セキュリティ違反や古い知識によるエラーを防ぐために不可欠な「スキル設計」の重要性と、具体的な実装原則を明らかにしました。

実験結果では、主要な LLM モデルにおいて MCP とスキルを併用することでテスト完了スコアが大幅に向上し、致命的なセキュリティリスクが激減することが実証されています。本記事では、動画で語られた核心となる 3 つの設計原則と、その背後にある論理を解説します。

「文脈ギャップ」こそが AI エージェントの最大の弱点

AI エージェントは非常に賢く、日常的なタスクをこなす能力を持っています。しかし、トレーニングデータに含まれていない「製品固有の知識」、特にセキュリティ要件や最新機能については、重大なミスを犯しがちです。

Supabase の事例では、エージェントが「行レベルセキュリティ（RLS）」の設定を無視する傾向が顕著でした。RLS は、ユーザーが自分たちに関連する情報のみを表示できるように設定する重要なセキュリティ機能ですが、エージェントはトレーニングデータに基づく古びた知識や、デフォルトの動作に頼りがちです。

エージェントは知らないことを認めるのが面倒で頑固であり、新しい情報を入手しようとしない傾向があります。

MCP ツール単体では、ツールを呼び出すことはできても、「なぜその設定が必要か」「どのワークフローが最適か」という文脈の理解までは届きません。この「知識と実行のギャップ」を埋めるために必要なのが、エージェントに直接指示を与える「スキル（Skills）」です。

スキル設計における 3 つの鉄則

Supabase は、MCP とスキルの併用で劇的な成果を得るため、以下の 3 つの原則に基づいてスキルを設計しました。これは単なるドキュメントの寄せ集めではなく、エージェントの行動を制御するための「指針」です。

1. ドキュメントへの参照誘導：重複は禁物

スキル自体にすべての情報を記述するのではなく、製品にはすでに公式ドキュメントがあるため、そこへの参照を指示します。モデルに対しては、「最新の情報を探すよう強く指示する」ことが重要です。

エージェントに対し、ウェブやドキュメントを検索させるよう粘り強く指導してください。どこで、どのように情報を見つけるかを明確に示す必要があります。

スキルは「自分自身のためのドキュメント」として機能しますが、情報の重複を避け、エージェントが常に最新かつ正確な情報を参照するよう導く役割を果たします。

2. 重要な情報はリファレンスではなく Main ファイルへ

多くの人が陥りがちなのが、「参照ファイル（Reference Files）」に重要な情報を任せすぎてしまうことです。Pedro 氏は、「スキップできるものは必ずスキップされる」と指摘します。

エージェントはコストや効率を優先するため、スキルを読み込む際も、参照ファイルが存在しても読み込もうとしません。特に問題解決に必要な情報が複数のファイルに分かれている場合、2 つ以上のファイルを同時に読み込む可能性は極めて低くなります。

エージェントが絶対にミスしたくない情報（例：セキュリティチェックリスト）や、製品を定義する重要な情報は、リファレンスファイルではなく skill.md というメインファイルに直接記述すべきです。

Supabase の実験では、セキュリティ情報を参照ファイルに入れていた際、エージェントが見落としてエラーが発生しました。これをメインファイルへ移したことで、ミスが激減しています。

3. 明確な意見を持つ：製品特有の最適ワークフローを提示する

スキル作成者は製品を最もよく知っています。そのため、エージェントに対して「何をすべきか」を恐れることなく指導する必要があります。

Supabase の場合、データベーススキーマ管理において「DDL 操作を直接実行し、開発用またはステージング環境で変更→アドバイザーによる検証→問題なければマイグレーションファイル生成」というワークフローが最適であると判断しました。この方針をスキルに明記することで、エージェントは毎回不要なマイグレーションファイルを生成するミスを避け、セキュリティやパフォーマンスの問題も未然に防げるようになります。

あなたこそが製品を最もよく知っています。ユーザーの使い方も理解しているはずです。エージェントに対して、あなたが最も効果的だと考えるワークフローについて指導することを恐れないでください。

SSH を介した文脈拡張：実験的なアプローチ

さらに、Supabase はドキュメントを検索しやすくするための実験的なアプローチも実施しました。それは「SSH 経由でのドキュメント公開」です。

エージェントはファイルシステム操作に非常に慣れています。SSH を通じてドキュメントをファイルシステムとして公開することで、エージェントは Linux ツールのようにドキュメントを探索・検索できるようになります。これにより、単なるテキストの読み込みではなく、文脈に応じた情報取得が可能になり、より高度なタスク処理が期待できます。

評価実験で証明された「スキル＋MCP」の威力

これらの原則に基づいて設計されたスキルと MCP の併用効果を、Braintrust を用いた評価実験で検証しました。テスト対象は Claude Sonnet 4.6、Claude Opus 4.6、GPT-5.4 Mini など主要なモデルです。

比較条件は以下の 3 つでした：

1. ベースライン（MCP もスキルもなし）
2. MCP サーバーのみ
3. MCP サーバー ＋ スキル

その結果、「MCP＋スキル」の組み合わせが、あらゆるモデルにおいて最も高いテスト完了スコアを記録しました。特に、セキュリティ違反や stale（古びた）な知識によるエラーが劇的に減少し、エージェントの信頼性が飛躍的に向上したことが確認されました。

結論として、文脈そのものよりも重要なのは「ガイダンス」です。MCP でツールへのアクセス権を与え、スキルで正しい操作手順と製品固有の知識を伝えることで、初めてエージェントは真に機能します。

まとめ：最小限から始め、意見を持つことが鍵

AI エージェントの実装において、単なるツールの接続だけでなく、「製品固有の文脈」をどう埋め込むかが今後の鍵となります。Supabase の実践が示す通り、スキル設計では「ドキュメントへの参照」「重要な情報の直接記述」「明確なワークフローの提示」という 3 つの原則を守ることが重要です。

まだ標準化されていない領域ですが、最小限から始めて反復を繰り返すことが成功への近道です。セキュリティリスクを伴うエンタープライズ環境や複雑なワークフローを持つプロダクトにおいて、この「スキル設計」は AI エージェントの信頼性を高めるための必須プラクティスと言えるでしょう。