Supabase、AI エージェント評価ベンチ「Evals」をオープンソース化

記事の3ポイント

1. 1

   オープンソース化と実用性

   Supabase は「supabase/evals」を Apache-2.0 ライセンスで公開し、pnpm を介してローカル環境で実行可能なベンチマークフレームワークとして提供している。

2. 2

   具体的な評価シナリオ

   スキーマ構築、Edge Function のデバッグ、RLS ポリシーの修正など、実際のサポートチケットや不具合報告に基づいた具体的なタスクを評価対象としている。

3. 3

   評価メカニズムと環境

   フレームワークはコンテナ内でホスト型スタックとローカル CLI プロジェクトを起動し、エージェントが実際の MCP サーバーや CLI を呼び出す本番環境に近い状態でテストを行う。