Measuring What Matters with Jules｜Jules を用いた重要指標の測定方法について

2026 年 6 月 22 日 AI コーディングエージェントは、指示されたタスクを完了する受動的なアシスタントから、文脈を継続的に吸収し、新たなリスクを特定し、開発者が尋ねる前に診断的洞察を提示する能動的なエンジンへと急速に移行しています。この進化の中心には、明確に定義された***タスク***から***目標***へのシフトがあり、これによりエージェントはコードベースを探検し、関連性を発見し、より高レベルの目的に向けて開発者を導くのに役立つ診断的観察結果を提示する必要があります。 SWE-Bench などの公的なベンチマークは、狭義に定義されたバグを修正するなど、タスクを完了するエージェントの能力を試しますが、目標に関するベンチマークはまだ存在しません。最新の論文 [Agentic Coding Needs Proactivity, Not Just Autonomy](https://arxiv.org/abs/2605.06717) において、私たちは能動的なエージェントは、何が重要かを判断し、何を証拠として提示するか、そして開発者に中断を提案すべきか沈黙すべきかを決定する「洞察ポリシー（insight policy）」に基づいて評価されるべきだと主張しています。 ![image](https://storage.googleapis.com/gweb-developer-goog-blog-assets/images/overview-abstract.original.png) 上記の図は、能動的なエージェント型コーディングエンジンの設計を示しています。開発状態と開発者モデルを維持するエンジンに文脈ストリームが流入し、洞察（通知、質問、ドラフト作成、沈黙）を出力し、その反応から学習します。 ## リアルなバグ修正を「正解」として活用する Google Labs における継続的 AI システムに関する私たちの研究に基づくと、能動的エージェントの洞察ポリシー（insight policy）を評価するための評価体系を構築するには、「正解」（ground truth）を設定することが必要であることがわかりました。この「正解」を構築する方法の一つとして、チームの実際のバグ修正履歴を、私たちが**時間的近接性**（temporal proximity）と**意味的類似度**（semantic similarity）と呼ぶ 2 つのヒューリスティックに基づいて分析するというアプローチがあります。 私たちの仮説は単純です。エンジニアが短期間に複数の関連するバグを報告し修正した場合、それらのバグは往々にして単一の基盤となるエンジニアリング活動の症状であると考えられます。「サンドボックスタイムアウトエラー」、「ブローカー設定失敗」、「ネットワーク分離の不安定なテスト」といったバグのクラスターは、すべて「サンドボックス実行の信頼性を高める」という共通の目標指向を示しています。個々のバグだけでは特定のタスクに特化しすぎて目標として機能しませんが、それらを組み合わせることで、より高レベルな目的が浮かび上がります。 ## 予備的な評価セットの構築とテスト 予備的なベンチマークを構築し仮説を検証するために、私たちは内部 Google コードベースから 705 のバグ（1,178 の CLs）を使用しました。 - 関連する過去のバグをクラスタリングし、開発者が実際に取り組んでいた上位レベルの「目指すべき目標」を明らかにします。 - 各クラスタ内の個々のバグを「正解（グラウンドトゥルース）」のターゲットとして設定し、コードベースを修正前の正確な状態に巻き戻して、エージェントが人間エンジニアと同じ地点から開始できるようにしました。 - エージェントが最終的な洞察を生成する前に、最大 3 ラウンド（「探索予算」または N）にわたってコードベースを検査できるようにします。 - LLM を使用して、エージェントの予測された洞察を、「正解」ターゲットに対して 1（無関係）から 5（完全一致）まで評価します。 - エージェントの平均最高スコアと、高い精度で正確な一致を生成した頻度（Hit@K）を追跡することで成功を測定します。 ## 予備的な結果と教訓 私たちのテストにおける予備的な結果は、主に 2 つの理由から興奮を呼びます。 **中核となる診断ロジックが機能しています:** 単一の探索ラウンドを与えられただけで、エージェントは一貫して非常に関連性の高い洞察（平均 4.5/5）を特定しました。これは、単純なエンジニアリング問題における主要なシグナルを確実に捉えたことを意味します。 **探索予算の重要性:** 複雑で多面的な問題は本質的に困難ですが、エージェントに調査のためのリソースを多く与えることは報われます。探索ラウンド数を 2 ラウンドから 3 ラウンドに増やすことで、エージェントの**Hit@5 精度**（上位 5 つの推奨事項の中に正しい診断的洞察が含まれる割合として定義）は 33% から 57% に大幅に回復しました。これは、追加のパスがエージェントが当初見落とした二次信号を発見するのを直接助けることを証明しています。 ## 次のステップ これらは初期サンプルに基づく予備的な結果であり、私たちは複数の側面でカバー範囲を積極的に拡大しています。まず、この評価を公開 GitHub データ（課題と解決された PR）に拡張し、この手法をより広い AI コミュニティに広く適用可能にします。また、コードベースだけでなく、課題追跡システム、会話、設計ドキュメントなど、より豊かなコンテキストストリームを取り込む方法も探っています。 コーディングの未来に関する当社の取り組みについて詳しく知りたい場合は、完全な論文を [こちら](https://arxiv.org/pdf/2605.06717) で読み、[labs.google/code](http://labs.google/code) で私たちを追跡してください。 前へ 次へ

Jules を用いた重要指標の測定方法について

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト