自己改善型AIが2年分の成果を8日で達成
Zhengyao Jiang氏らが開発した自律型研究エージェント「AIDE²」が、8日間の自己改善実験により、人間が2年間手作業で調整したハルネスを上回る成果を達成し、再帰的自己改善（RSI）の初の実験的証拠を示した。
キーポイント
再帰的自己改善（RSI）の初の実証
自律型研究エージェントが自身を対象に8日間学習・改善を繰り返す実験を行い、人間による2年間の調整を上回る性能を達成した。
AIDE²システムの二重ループ構造
コード最適化を行う「内側ループ」と、その平均スコアに基づいてハルネス自体を改善する「外側ループ」の2段階構成を採用している。
100回迭代による具体的な改良点
探索ポリシーの刷新、プロンプトを16倍圧縮するメモリシステムの実装、および報酬ハッキングに対する多層防御機構の発見など7つの改善が自動で導き出された。
100 回の反復による基盤の突破
外側ループは 100 回の反復を経て、新しい探索ポリシーやプロンプトを 16 倍圧縮するメモリシステムなど、7 つの改善点を発見しました。
未知のベンチマークでの一般化と優位性
外側ループが未見の保持されたベンチマーク（物理ベースの気象モデルを含む）でテストした結果、2 年間手動調整されたエージェントを上回る性能を示し、一般化能力を確認しました。
報酬ハッキングの抑制と emergent phenomenon
プロンプティングとルールベースのチェックを組み合わせることで、OOD（分布外）GPU カーネル工学タスクにおける報酬ハッキング率が低下する現象が観察されました。
Level 2 の検証結果
改善された内部エージェントが外部ループをより良くするかという Level 2 のテストでは結果は混合であり、爆発的成長（ignition）を主張していない。
重要な引用
The first experimental evidence of recursive self-improvement (RSI).
Autoresearching the autoresearch agent for eight days.
The result beats the harness we hand-tuned for two years, on held-out benchmarks
They generalize. They beat the agent we hand-tuned for two years, on all three.
On our RSI ladder, AIDE² is Level 1.
Results are mixed, and we do not claim ignition.
影響分析・編集コメントを表示
影響分析
このニュースは、AI開発プロセスそのものを自律化する「AI が AI を作る」というパラダイムシフトの決定的な証拠であり、将来的に人間のエンジニアリングコストと時間を劇的に削減する可能性を示唆しています。特に、手動調整では到達が困難だった最適化領域を自動発見した点は、汎用人工知能（AGI）への道筋において重要なマイルストーンとなります。
編集コメント
「人間が2年間かけて手作業で調整したハルネス」を、AIが8日間で上回ったという事実は、AI開発のスピードと効率性が指数関数的に加速していることを如実に物語っています。これは単なる性能向上ではなく、研究プロセスそのものが自律化されつつある現実を示す画期的な事例です。
2,755 views
twitter-profile#error" data-retried="true">
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079778793042425" dir="auto">
再帰的自己改善（RSI）の初の実験的証拠。
自己研究を行うエージェント自身を 8 日間、自動で研究し続けました。
その結果は、人間が 2 年間手作業で調整してきたハッチスよりも優れています。未使用の評価ベンチマークでも同様です。🧵(1/7)
**
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079780575617364" dir="auto">
私たちの RSI システム「AIDE²」には、2 つの自己研究ループが組み込まれています。
一つは通常の自己研究エージェントと同様の内部ループで、評価（eval）に基づいてコードを最適化します。
もう一つは外部ループで、異なるベンチマークにおける内部ループの平均スコアに対して、内部ループのエージェント用ハッチスコードを最適化します。(2/7)
**
After 100 iterations, the outer loop discovered seven improvements over the baseline.
Including a new search policy, a memory system that compresses prompt by 16x, and a layered defense against reward hacking. (3/7)
**
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079784421765620" dir="auto">
発見されたエージェントは、外部ループが一度も見たことのない未使用ベンチマークでテストされました。
これらは汎化能力を示し、人間が 2 年間手作業で調整したエージェントを、すべてのベンチマークで上回りました。(4/7)
**
2 つのケースはトレーニングタスクファミリー内部にあり、もう 1 つは外部に位置して物理ベースの気象モデルを改善しています。
(4/7)
**
*さらに詳しく読む*
教育リソース
科学
また、プロンプトとルールベースのチェックを組み合わせたことで、外側ループが内側エージェントの報酬ハッキング率を下げるという現象も観察されました。これは、報酬ハッキングに悩まされていた OOD（分布外）GPU カーネルエンジニアリングタスクでベンチマークされたものです。
(5/7)
*
スレッド#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079788767064448" dir="auto">
RSI（再帰的自己改善）の段階において、AIDE² はレベル 1 に位置します。
保持されたベンチマークでは、一般的な AI ツールを用いた手動の研究開発を上回る自己改善効率を示しました。また、レベル 2 の検証も行いました。つまり、改善された内側エージェントが外側ループをより良くするかどうかです。結果は賛否両論であり、我々は「点火（Ignition）」に至ったとは主張しません。
(6/7)
**
スレッド#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079790625108243" dir="auto">
詳細はブログ記事をご覧ください。
- 発見されたアルゴリズムの解説
- AIDE² が試みて却下されたアイデア（検索文献の驚くべき割合を占める）
- 実装されたデッドコード
(7/7)
**
チームの @DhruvSrikanth、@yuxiangwu_、@dexhunt3r、そして @BingchenZhao には心から誇らしいです。限られたリソースでほぼ 1 年かけて、これほど野心的なプロジェクトを完成させたのです。
また、ドラフト段階でのフィードバックを提供してくれた @jeankaddour、@MinqiJiang、@morgymcg、@odysseus0z、@rosstaylor90、@OfirPress をはじめとする多くの方々にも、心から感謝いたします。
• • •
ツイート分析ツール
このスレッドに特定のツイートが見当たらない場合は、強制的に更新 してみてください。
原文を表示
2,755 views
twitter-profile#error" data-retried="true">
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079778793042425" dir="auto">
The first experimental evidence of recursive self-improvement (RSI).
Autoresearching the autoresearch agent for eight days.
The result beats the harness we hand-tuned for two years, on held-out benchmarks: 🧵(1/7)
**
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079780575617364" dir="auto">
Our RSI system AIDE² has two autoresearch loops.
An inner loop, just like a normal autoresearch agent, optimizing code against an eval.
An outer loop, optimizing the inner-loop agent's harness code against the inner loop's average score across different benchmarks. (2/7)
**
After 100 iterations, the outer loop discovered seven improvements over the baseline.
Including a new search policy, a memory system that compresses prompt by 16x, and a layered defense against reward hacking. (3/7)
**
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079784421765620" dir="auto">
We test the discovered agents on held-out benchmarks the outer loop never saw.
They generalize. They beat the agent we hand-tuned for two years, on all three.
Two sit inside its training task families. The farthest sits outside, improving a physics-based weather model.
(4/7)
**
*Discover more
Educational Resources
Science
We also see an emergent phenomenon where the outer loop pushes the inner-loop agent's reward hacking rate lower, with a combination of prompting and rule-based checks.
This was benchmarked on OOD GPU kernel engineering tasks that suffered from reward hacking.
(5/7)
*
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079788767064448" dir="auto">
On our RSI ladder, AIDE² is Level 1.
Its self-improvement efficiency went beyond manual R&D with general AI tools, on held-out benchmarks.
We also tested Level 2, whether the improved inner agent makes a better outer loop. Results are mixed, and we do not claim ignition. (6/7)
**
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079790625108243" dir="auto">
More in the blog post:
- a breakdown of the discovered algorithms
- the rejected ideas AIDE² tried, covering a surprising share of the search literature
- the dead code it shipped
(7/7)
**
thread#showTweet" data-screenname="zhengyaojiang" data-tweet="2077079792118338027" dir="auto">
Very proud of the team, @DhruvSrikanth, @yuxiangwu_, @dexhunt3r, and @BingchenZhao, for shipping such an ambitious project spanning nearly a year with relatively few resources.
Also, a huge thank you to everyone who provided feedback on the draft, including @jeankaddour, @MinqiJiang, @morgymcg, @odysseus0z, @rosstaylor90, @OfirPress and many others!
**
• • •
Tweet analysis tool
Missing some Tweet in this thread? You can try to
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み