Bugbotが学習したルールで自己改善を開始
Cursor社のAIコードレビュー製品Bugbotが、開発者のフィードバックから学習してルールを自動生成する自己改善機能を導入し、バグ解決率を競合を大きく上回る80%近くまで向上させた。
キーポイント
バグ解決率の大幅向上
Bugbotのバグ解決率はベータ版リリース時の52%から80%近くまで向上し、次点のAIコードレビュー製品を15ポイント上回る性能を達成した。
学習ルールによる自己改善機能の導入
オフライン実験に依存していた従来の改善手法から、実際のコードレビュー過程からのフィードバックを学習ルールとして自動生成・適用するリアルタイム自己改善システムに移行した。
学習ルールの仕組みと活用状況
開発者の反応、返信、人間レビュアーのコメントなどのシグナルから候補ルールを生成し、11万以上のリポジトリで学習が有効化され、4万4千以上の学習ルールが生成されている。
競合製品との比較優位性
公開リポジトリのみを対象とした分析で、Bugbotの解決率はGemini Code Assistなどの競合製品を大きく上回り、AIコードレビュー市場でのリーダーシップを示している。
影響分析・編集コメントを表示
影響分析
この技術進展は、AI支援開発ツールが単なる自動化から自律的進化システムへ移行する重要な転換点を示している。開発者とのインタラクションから継続的に学習する能力は、コード品質管理のパラダイムを変え、企業の開発プロセス全体に大きな影響を与える可能性がある。
編集コメント
AIツールが静的ルールから動的学習システムへ進化した画期的な事例。開発現場での実データに基づく継続的改善は、AI製品の実用性を飛躍的に高める可能性を秘めている。
2025年7月にBugbotをベータ版から正式リリースした際、Bugbotが特定したバグの52%は、関連するプルリクエスト（PR）がマージされるまでに解決されていました。これは残りが誤検知であったことを示しています。
現在、その解決率は約80%に達し、次点のAIコードレビュー製品を15パーセントポイント上回っています。
AIコードレビュー製品
解決率
Gemini Code Assist
分析対象は公開リポジトリのみです。各AIコードレビュー製品が生成したコメントについて、LLM（大規模言語モデル）による判定を用いて、PRマージ時までに対応されたかどうかを検証しました。
これまでの改善は、すべてオフライン実験によって推進されてきました。Bugbotを調整し、その変更が解決率を向上させるかをテストし、向上が認められた場合にのみリリースするというプロセスです。
しかし、完全にオフラインに依存するアプローチでは、多くの学習機会が活用されていません。Bugbotは毎日数十万件のPRをレビューしており、各レビューは、開発者がBugbotの報告に基づいてアクションを取ったか否かによって、Bugbotが自己改善できる自然実験の場となっています。
こうしたリアルタイムシグナルを活用するため、私たちはBugbotが過去の実行から学習できる機能を実装し、実際のコードレビュープロセスからのフィードバックを「学習ルール」へと変換しました。ルールは追加の指示として機能し、Bugbotの実行をより細かくカスタマイズ可能にします。これによりBugbotは、特定の問題やビジネスコンテキストなどへの注力度を高められます。
学習ルールをベータ提供開始以来、11万以上のリポジトリで学習機能が有効化され、4万4千以上の学習ルールが生成されています。
#学習ルールの仕組み
マージされた各PRには、Bugbotが自己改善し、ルールとして体系化するために利用できる様々なシグナルが含まれています。特に重要なシグナルは以下の3つです：
- Bugbotコメントへのリアクション：ダウンボートは、その指摘が有用でなかったことをBugbotに伝えます。
- Bugbotコメントへの返信：開発者が、何が問題だったのか、または提案をどう改善できたのかを説明します。
- 人間のレビュアーからのコメント：Bugbotが見逃した問題を指摘します。
Bugbotはこれらのシグナルを「候補ルール」として処理し、新たに来るPRに対して評価を続けます。シグナルが十分に蓄積されると、Bugbotは候補ルールを「アクティブステータス」に昇格させ、以降のレビューに反映させ始めます。同様に、アクティブルールが一貫してネガティブなシグナルを生成し始めた場合、Bugbotはそれを無効にできます。また、UIから直接ルールを編集または削除することも可能です。
私たちは、Bugbotにあらゆる実際のバグを検出してほしいと考えています。そのためには、お客様のコードベース、パターン、チームの優先事項に対する深い理解が不可欠です。学習ルールはこの目標に向けた大きな一歩であり、Bugbotを持続的に自己改善させるための私たちの総合的な取り組みの一部をなすものです。
CursorダッシュボードでBugbotの学習を管理できます。学習ルールの有効化、最近のPRに対するバックフィルの実行が可能で、詳細はドキュメントをご覧ください。
原文を表示
When we launched Bugbot out of beta in July 2025, 52% of the bugs it identified were resolved by the time the relevant PR was merged, indicating the rest were false positives.
Today, the resolution rate is nearing 80%, 15 percentage points higher than the next-closest AI code review product.
AI code review product
Resolution rate
Gemini Code Assist
We analyzed public repositories only. For each comment produced by an AI code review product, we checked to see if it was addressed by the time it merged using an LLM judge.
Up until now, improvements have been propelled exclusively by offline experiments: We tweak Bugbot, test to see if the change improves the resolution rate, and we ship it if it does.
But a strictly offline approach leaves a lot of training potential untapped. Bugbot reviews hundreds of thousands of PRs per day, and each review is a natural experiment that Bugbot can use to self-improve based on whether the developer acted or not on its report.
To harness those real-time signals, we've now enabled Bugbot to learn from past runs, transforming feedback from the live code review process into learned rules. Rules act as additional instructions that enable greater customization of Bugbot runs, helping Bugbot focus on specific issues, business context, and more.
Since launching learned rules in beta, more than 110,000 repos have enabled learning, generating more than 44,000 learned rules.
#How learned rules work
Every merged PR contains a range of signals that Bugbot can use to self-improve and codify into rules. Three important signals are:
Reactions to Bugbot comments, where a downvote tells Bugbot the finding wasn't useful.
Replies to Bugbot comments, in which developers explain what was wrong or how the suggestion could have been better.
Comments from human reviewers, which flag issues that Bugbot missed.
Bugbot processes these signals into candidate rules that it continues to evaluate against incoming PRs. As signal accumulates, Bugbot can promote a candidate rule to active status where it begins influencing future reviews. Similarly, if an active rule starts generating consistent negative signal, Bugbot can disable it. You can also edit or delete rules directly in the UI.
We want Bugbot to catch every real bug, which requires a deep understanding of your codebase, patterns, and team's priorities. Learned rules are a big step in that direction, and they're part of our overall effort to make Bugbot continually self-improving.
Manage Bugbot learning in the Cursor Dashboard, where you can enable learned rules and run a backfill across recent PRs, or learn more in our docs.
関連記事
継続学習のための「睡眠」アプローチ（24 分読）
Google の研究者らは、モデルが短期間の文脈内知識を長期パラメータに統合する新手法「Sleep」を提案した。この手法は蒸留と再生成を用い、さらに強化学習による「夢見」段階で合成カリキュラムを生成して自己改善を図る。
Copilotレビュー済みプルリクエストのマージ指標が使用状況メトリクスAPIに追加
GitHubがCopilot使用状況メトリクスAPIに、Copilotがレビューしたプルリクエストのマージ数とマージまでの中央時間を計測する2つの新指標を追加した。
AIエージェントの継続的学習
LangChain社が、AIエージェントの継続的学習はモデル層だけでなく、ハーネス層とコンテキスト層の3層で行われると指摘し、時間とともに進化するシステム構築の考え方を変えると述べた。