ドアドッシュが語る AI 評価の多機能チームへの適用

ドアドッシュが語る AI 評価の「チームスポーツ化」：エンジニア依存を脱し、全社で品質を高める仕組み

ドアドッシュ（DoorDash）の生成 AI プラットフォームチームは、AI の評価（Evals）を単なるエンジニアリングの枠組みから、ドメイン知識を持つ戦略・運用担当者が中心となる「チームスポーツ」へと再定義しました。このアプローチにより、非エンジニアが自らアノテーション UI を構築し、LLM 判定プロンプトを最適化できる自己完結型の環境を整備。その結果、コスト削減と開発スピードの劇的な向上を実現しています。

エンジニア依存からの脱却：評価は「チームスポーツ」だ

ドアドッシュの生成 AI プラットフォームチームは、製品チームに対し、精度（accuracy）、レイテンシ（latency）、コストの 3 つのバランスを取るための基盤を提供しています。しかし、初期段階では「AI 評価もエンジニアの仕事」という認識が根強くありました。

だが、顧客発見やショッピングアシスタント、パーソナライゼーションなど、各チームには異なるニーズが存在しました。例えば、セッションレベルでの品質判定が必要になるケースもあれば、マルチエージェントシステムにおける軌跡（トラジェクトリ）ベースの評価が必要なケースもあります。こうした多様な要件に応えるため、彼らは「評価はエンジニア単独のタスクではない」と結論付けました。

「評価はチームスポーツだ。戦略・運用担当者がドメイン知識を提供し、品質向上の責任を組織全体で分担する必要がある」

ドアドッシュでは、戦略・運用チームが優先順位や品質基準を設定し、プロダクトマネージャーがそれをルブリック（評価基準）やワークフローに変換します。一方、エンジニアは API やデータセット、判定モデルといった基盤を提供。このように役割を分担することで、AI の品質にドメイン知識を直接反映させる仕組みを確立しました。

進化の軌跡：UI→API→ワークフローへ

非エンジニアが評価プロセスに参加できるようにするため、プラットフォームは段階的に進化してきました。

1. UI フォースト: 初期には、エンジニアでない人でも貢献できる UI を提供。創業者のアンドリュー・ファンの指導のもと、直感的な操作界面を整備しました。
2. API フォースト: その後、中央プラットフォームに依存せず、各チームが独自にシステムを構築できるよう API を公開。これにより、開発の自由度が高まりました。
3. ワークフロー フォースト: 現在では、コーディングエージェントを活用し、戦略・運用担当者が自らアノテーション UI を「コードで書く（vibe code）」環境を提供しています。

この変化により、各チームは特定のユースケースに合わせた UI を柔軟に構築できるようになりました。例えば、画像アノテーションや手動テストなど、異なるニーズを持つチームでも、API を活用して独自のインターフェースを迅速に実装可能です。

継続的改善ループの自動化と可視化

ドアドッシュの評価プロセスは、以下のステップで構成される「継続的改善ループ」として機能しています。

1. トラシングとサンプリング: エージェントや LLM の出力を記録し、重要なセッションを抽出します。
2. アノテーション: ドメイン知識を持つ担当者が、抽出したデータに注釈を付けます。この際、各チームは API を活用して独自の UI で作業を行います。
3. ゴールデンデータの作成: 注釈付きデータを「正解データ（ゴールデンデータ）」として蓄積し、評価の基準とします。
4. LLM 判定プロンプトの最適化: JPEA ライブラリなどを用いて、判定用プロンプトを自動で調整。ベースラインスコアと比較しながら、精度を向上させます。
5. 可視化と信頼構築: 最適化前後のプロンプトやスコアの推移を UI で表示し、変更の根拠を明確にします。

特に注目すべきは、プロダクトマネージャーや運用担当者が、エンジニアの介入なしでこのループを実行できる点です。プラットフォーム上で設定を行い、任意のモデル（Gemini、Claude、OpenAI など）を選択して最適化プロセスを開始できます。また、変更前のシステムプロンプトと最適化後のプロンプトを比較表示することで、なぜスコアが向上したのかを視覚的に理解できるようになっています。

コスト削減とスピード向上の実績

この自己完結型のプラットフォーム導入により、ドアドッシュは以下のような成果を上げています。

• アノテーションコストの大幅削減: 各チームが独自に UI を構築できるため、中央チームが個別に対応する必要がなくなり、人件費を抑制できました。
• 開発サイクルの短縮: エンジニアとのやり取りが減り、評価プロセスのイテレーション速度が劇的に向上。市場投入までの時間を大幅に短縮しました。
• 品質とスピードの両立: ドメイン知識を持つ担当者が直接評価に関与できるため、AI プロダクトの品質を維持しつつ、開発スピードも確保しています。

まとめ：評価プロセスの民主化が競争優位性を生む

ドアドッシュのアプローチは、大規模企業における AI 開発のボトルネックである「専門知識と技術実装の分断」を解消するモデルとして注目されています。評価プロセスを民主化し、自動化することで、AI プロダクトの開発サイクルを短縮し、市場での競争優位性を確立しています。これは、単なる技術的な改善ではなく、組織全体で AI の品質に向き合う文化の変革と言えるでしょう。