RL エージェント構築には環境が全て必要と提唱
本文の状態
日本語全文を表示中
詳細モードで約7分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TLDR AI
著者は、エージェント構築において従来のデータ収集とモデル訓練の枠組みが通用しないとし、強化学習環境こそがエージェントにとって不可欠な基盤であると提唱する。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月7日 22:37
AI深層分析
キーポイント
AI 開発パラダイムの転換点
1960-70 年代のエキスパートシステムや、現在の深層学習における「データ収集と訓練」という定石が、エージェント構築にはそのまま適用できない現状を指摘する。
強化学習環境の重要性
知識を持つモデルから行動するエージェントへの進化において、計算資源を活用するための同等物として「強化学習（RL）環境」が不可欠であると主張する。
未解決の核心的課題
エージェントにとってのデータとは何か、そしてどうすれば計算資源を効果的に活用してエージェントを構築できるかという根本的な問いが残されていると述べる。
RL Environment の本質と名称の再考
「RL」という用語は環境が以前から強化学習に使われていたことに由来するだけで、実際には RL を必須とするものではない。
エージェント構成要素の最適化戦略
エージェントは LLM とシステムプロンプトからなるハッチングとして定義され、フロンティアラボはモデル更新に注力する一方、他者はプロンプトやハッチング工学の改善に取り組んでいる。
重要な引用
RL environments are all you need when you build agents!
The equivalent thing for agents is missing.
What we need is to figure out how to leverage compute to build agents.
The term "RL" in "RL Environment" is superfluous: it's just that people were using these environments for RL, but it's not necessary that RL needs to be used.
編集コメントを表示
編集コメント
この記事は、現在の AI 業界が直面している「エージェント化」の壁を鋭く突いた洞察である。開発現場ではモデルの性能向上に注目が集まりがちだが、環境設計という土台の重要性を見直す契機となる内容だ。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
最近、私は「RSI において必要なのは RL エンバイロメントだけだ」というツイートをしました。
https://x.com/i/web/status/2081476893833056460
実は今日、私は「RL エンバイロメントこそがすべてだ」という私の見解を共有したかったのです。これは RSI の話に限ったことではありません。エージェントを構築する際にも、同じことが言えます。
ディープラーニングから学んだこと
60 年代や 70 年代を覚えていますか？おそらく覚えていないでしょうが、当時の人々は「AGI（汎用人工知能）はもうすぐそこだ」と信じていました。彼らはエキスパートシステムを構築していました。これは手作業で設計された if-else のヒューリスティックやルールに基づくものでした。
1966 年に作られたチャットボット「Eliza」もその一例です。当時は素晴らしいと評されましたが、実際には全く機能しないことが判明してしまいました。この失敗により分野全体が崩壊し、私たちは「AI の冬」へと突入しました。
その後、ニューラルネットワークが登場しました。これは問題を解決するための体系的な方法を生み出しました。ヒューリスティックを手作業で設計するのではなく、モデルが学習しようとしている対象の分布を近似するように学習させるのです。
重要なのは、データを精選し、計算資源を活用してモデルを訓練することです。
規模が大きくなるにつれてモデルは向上しました。これがディープラーニングをもたらしましたが、同時に「計算資源のスケーリング」がいかに重要かを理解するきっかけにもなりました。『The bitter lesson（苦い教訓）』[https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf] は、今や広く知られるところとなっています。
結局のところ、コミュニティは一つのレシピに収束しました。データを収集し、訓練用とテスト用に分割して、訓練セットでモデルを学習させ、テストセットでの汎化性能を検証する——これは学校で学び、職場でも実践してきた手法です。多くの ML エンジニアがこのレシピを使って世界を変えてきました。
しかし、エージェントにとって同等の基盤は欠けています。私たちが目指すべきは、計算リソースをどう活用してエージェントを構築するかという課題です。
そこで重要な問いが二つあります。
- エージェントにとってのデータとは何か？
- エージェントを構成する要素は何か、そして計算リソースをどう活用すべきか？
エージェントのデータ：RL 環境
エージェントにおける「データ」に相当するのは RL 環境です。私たちは、「知識を持つモデル」から、「環境の中で行動できるエージェント」へと範疇を広げています。エージェントはこの環境で訓練されるため、環境自体が新たなデータとなっています。
「RL 環境」という用語における「RL（強化学習）」は冗長です。単に人々がこれらの環境を RL に使ってきたというだけであって、必ずしも RL を使う必要があるわけではありません。
エージェントの構成要素
エージェントとは、本質的にはシステムプロンプトと共にハネス（枠組み）に入れられた LLM です。
これらすべての要素を調整・更新可能です。例えば、最先端の研究機関は LLM のアップデートに巨額の投資を行っていますが、その他の組織は主にプロンプトの改善に注力しています。現在、ハネスエンジニアリングへの関心も高まっています。
では、計算リソースを活用してこれらのコンポーネントを更新する方法を見ていきましょう。
計算リソースを活用して LLM を更新する
これは明白なことです。RL（強化学習）を使って LLM の重みそのものを更新することもできますし、環境から生成されたトランジェクトデータを用いて SFT（教師あり微調整）やミッドトレーニングを行うことも可能です。現在ではラボ内だけでなく、外部でもこうした手法で成功を収めた事例が多数あります。企業や開発者が自社のエージェントユースケースに合わせて LLM をカスタマイズして訓練できる時代になったのです。
つまり、計算リソースを活用して LLM のパラメータを更新する上で、RL エンバイロメント（強化学習環境）が必要不可欠だということです。
計算リソースを活用してシステムプロンプトを更新する
多くの人は手動でプロンプトを作成していますが、複雑なエージェントにおいてはこの手法はうまくいきません。今後は GEPA や autoresearch のようなツールを用いて、最適なシステムプロンプトを自動で見つけるアプローチが主流になっていくでしょう。
結局のところ、人間が LLM に比べて優れていることはなく、むしろ LLM こそがプロンプトを検証し、自己反省し、より良いシステムプロンプトを書き上げる能力を持っているのです。これは「苦い教訓」が再び浮上したに過ぎません。
GEPA や autoresearch、あるいは進化アルゴリズムを利用する際には、プロンプトの性能を定量的に評価する方法を体系的に用意する必要があります。また、学習用データセットとテスト用データセットを適切に分け、学習用スプリットで反復改良を行いながら、テスト用スプリットでの一般化能力も確認できる仕組みが求められます。
つまり、これも結局のところ優れた RL エンバイロメントの存在によって実現されるのです。
計算リソースを活用してハーンネスを更新する
これはまだ比較的新しい分野です！
人々は手動でハネス（評価環境）の構築を繰り返していますが、他の分野と同様に、将来的にはハネス構築を自動化する仕組みが生まれると信じています。本質的にハネスはソフトウェアの一部だからです。
私が知る限り最も近い研究は Meta-Harness です。
来年にはさらに多くの関連論文が発表されることになるでしょう。いずれにせよ、ハネスを改善するための最善の方法は、自社のユースケースに特化した RL 環境のセットを用意することです。
Evals には RL 環境こそが必要不可欠
エージェントのトレーニングだけでなく、RL 環境を活用すれば、現在の「雰囲気評価（vibe evals）」ではなく、体系的な評価が可能になります。
例えば、Snowflake の CEO は GLM-5.2 と Opus 4.7 を比較しましたが、その際 dbt 用の RL 環境 103 基を利用しました（このデータセットを誰がキュレーションしたかは言うまでもありません）。
https://x.com/i/web/status/2069460464371954171
RL 環境こそが必要不可欠！
私がこれまで述べてきたことの要点は以下の通りです。
- ML のレシピとは、データをキュレーションし、計算資源を活用してモデルを訓練することです。
- 新しいエージェントのレシピは、RL 環境をキュレーションし、計算資源を活用して以下のいずれか（または複数）を行うことです：(1) 重みの更新、(2) システムプロンプトの更新、(3) ハネスの更新。
- これらを実行していなくても、少なくとも評価には RL 環境を利用すべきです。
- つまり、RL 環境はエージェント構築において極めて重要であり、皆さんはそのキュレーションに十分な投資をしていない可能性が高いのです。
このように、@bespokelabsai は研究と RL 環境の提供に徹底的に注力しています。ラボであれ企業であれ、エージェントの構築や評価を行うのであれば、RL 環境こそがすべてです。
次回は、RL 環境がソフトウェアや RSI にどのような意味を持つのかについてお話しします。
原文を表示
Recently I tweeted RL Environments are you need for RSI.
https://x.com/i/web/status/2081476893833056460
In fact, I wanted to share my perspective today that RL environments are all you need, which holds beyond RSI. RL environments are all you need when you build agents!
What we learned from Deep Learning
Remember the 60s and the 70s? I guess not, but anyhow, people at the time thought AGI is around the corner. They were building expert systems which were hand crafted if/else kind of heuristics and rules. Eliza was an expert-system chat bot built in 1966, and people thought it was great, until they figured it doesn't work, at all. The whole field collapsed and we went into AI winter.
Then neural networks happened. It invented a systematic way of solving problems. Rather than hand crafting heuristics, the model learns to approximate the distribution of what you are trying to learn. You have to curate data and use compute to train the model.
The models got better with scale. This got us deep learning, but also a good understanding of the importance of scaling compute. The bitter lesson is by now very well understood.
Anyway, the community converged on to a recipe: we curated data, split it into train and test, and trained a model on the train set and tested if it generalizes on the test set. This we learned in the school and we applied well at work. Legions of ML engineers used this recipe to transform the world.
But the equivalent thing for agents is missing. What we need is to figure out how to leverage compute to build agents.
So key questions:
- What's the data for agents?
- What constitutes an agent and how to leverage compute?
Agent Data: RL Environments
The equivalent thing to data for agents is RL environments. We are expanding from from models that know things to agents that can do things.. in an environment. The agents are trained in these environments, and so that is now the new data.
The term "RL" in "RL Environment" is superfluous: it's just that people were using these environments for RL, but it's not necessary that RL needs to be used.
What constitutes an agent?
Agent is essentially a LLM put in a harness along with a system prompt.
Any of these can be tuned/updated. For example, the frontier labs heavily invest into updating the LLMs, while the rest of the population is mostly focused on updating the prompts. Harness engineering is now picking up.
Going back, let's see how we can leverage compute to update these components.
Leveraging compute to update the LLM
This one is obvious. You can use RL to update the LLM's weights. Or SFT or even midtrain with the trajectories generated from the environment. This is what the labs use, and there are a number of success stories now outside the lab as well where people are able to train LLMs to customize for their agentic use cases.
This is a clear use of leveraging compute to update the LLM parameters. And you need RL Environments for that!
Leveraging compute to update the system prompt
Most people have been writing prompts themselves but this doesn't work well for complex agents. Instead we are going to drift towards systems which use tools like GEPA or autoresearch to find the best system prompt that works for you.
Ultimately you and me are worse than powerful LLMs that can inspect, reflect, and write the system prompts. This is just the bitter lesson surfacing again.
For GEPA or autoresearch or evolutionary algorithms, you need to systematically have a way to get the score of how well a prompt is doing, and curate train/test splits (you want to iterate on the the train split, and see if you generalize on the test split).
So ultimately this is achieved by having good RL environments!
Leveraging compute to update the harness
This is a bit of a new field!
People are iterating on harness manually, but like everything else, I believe, we will have mechanisms to automate building of harness (it's essentially a piece of software).
The closest paper I know of is Meta-Harness work.
We are going to see a lot more work come out next year perhaps! At any rate, the best way to iterate over the harnesses is to have a set of RL environments for your use case.
RL Environments are all you need for Evals
Beyond training the agents, you can use RL environments to do systematic evals (rather than the vibe evals that people do now).
For example Snowflake CEO compared GLM-5.2 with Opus 4.7 and he did that by having access to 103 RL environments for dbt (guess who curated this data?).
https://x.com/i/web/status/2069460464371954171
RL Environments are all you need!
Gist of what I have said:
- ML recipe means you curate data, and leverage compute to train a model on the data.
- The new agent recipe is to curate RL environments, and leverage compute to do one or more of: (1) updating the weights, (2) updating the system prompt, and (3) updating the harness.
- Even if you are not doing any of these, you should at least use them to do evals.
- And so RL environments are critical for building agents, and you are probably not investing enough into curating them.
This is why @bespokelabsai is razor focused on doing research and shipping RL environments. Whether you are a lab or an enterprise building/evaluating agents, RL environments are all you need.
Next time, I will talk about what RL envs mean for software and for RSI.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み