The Next Paradigm (7 minute read)｜次のパラダイム（7 分間の読了）

現在、各研究所が行っている大きな研究への賭けは次の通りです。もし AI を、数千の多様な強化学習（RL）環境において数百万件の検証可能なタスクを達成するように訓練すれば、私たちはほぼ AGI（汎用人工知能）を構築したことになるでしょう。なぜなら、そのような訓練によって、エラーやミス、曖昧さに対峙しながら数週間にわたってオープンエンドなタスクで進歩する方法といった、一般的な問題解決スキルが育まれるからです。 このビジョンに楽観的な人々は、現在の学習パラダイムにおける根本的な欠陥（例えば、データ効率の低さや継続的学習の欠如など）は、計算資源を投入する規模を拡大することで容易に克服できると言うでしょう。実際、自然言語処理におけるすべての「根本的」とされる研究上の問題も、LLM への計算資源の洪水によって崩壊しました。 はい、これらのモデルは訓練中に[1/100万分の人間のサンプル効率](https://www.dwarkesh.com/p/the-sample-efficiency-black-hole)しかありません。しかし、これは数十億回のユーザーセッションにわたって一度きりのコストとして配分されるものです。重要なのは、セッション内におけるモデルの賢さ、汎用性、そしてサンプル効率であり、それは私たちがより多くの RL 訓練を行うにつれて明らかに向上しています。AI は、より長く、より野心的な問題解決を可能にしており、コード作成にこれらのモデルを使用している人なら誰でも知っていることです。 同様に、継続学習（モデルの重みがデプロイメントから更新されることと定義される）は、必ずしも必要ではないかもしれません。再び言うなら、コンテキスト内学習がより長い時間範囲にわたって非常に上手くなるのであれば、オンザジョブ学習を得るために重みに戻して蒸留する必要はありません。人々はよく、従業員が職場で 6 ヶ月以上経たないと正味の生産性を発揮しないと言いますが、明らかに有能になるためにはオンライン学習が必要です。しかし、もしその 6 ヶ月分をコンテキストウィンドウに収められるとしたらどうでしょうか？トランスフォーマーには、保存できるコンテキストの長さを劇的に増加させるための多くのアーキテクチャ上の革新があります。あと数年の進展があれば、なぜ任意に大きなコンテキストウィンドウを持たないことができないのでしょうか。 これが機能するかどうかに対処するために、まず私が混乱し興味深いと感じる現在の AI 進歩の本質に関する質問を投げかけるために、少し迂回したいです。なぜコンピュータの使用における進歩はこれほど遅いのでしょうか？ コンピュータの使用は非常に明確に検証可能です（目的のエツィーのアイテムが注文されたか、イベントに必要なすべてのものが予約されているか、税金は提出されたか）。それなのに、なぜコンピュータの使用における進歩はコーディングや数学、および他の検証可能なドメインよりもはるかに遅れているのでしょうか？これには多くの理由があるでしょう。その中には、モデルが事前学習中に高品質なマルチモーダルデータにさらされる量がはるかに少ないこと、そして動画がコンテキストウィンドウを非常に速く消費することなどが含まれます。[1] しかし、私がこの点が非常に過小評価されていると考えている理由の一つ、そして AI の進歩という川がゆっくりと削り取るにすぎない崖壁を明らかにしている理由は、ある領域が検証可能であるだけでは不十分だからです。その領域は「非常に grindable（反復練習可能な）」でなければなりません。つまり、決定論的かつ再生可能なシミュレーターに対して大量の並列ロールアウトを実行できるという意味です。モデルをコーディング能力向上のために改善しようとする場合、欠落した機能があり、AI にその作成を命じたソフトウェアリポジトリを含む環境を作成できます。そして、同じコンテナのコピーをそれぞれ持つ 1000 の並列エージェントがその問題に取り掛かるようにします。 しかし、これはコンピュータ操作（computer use）には当てはまりません—少なくとも自明な方法ではです。Amazon.com で同じチェックアウトフローを試すために 1000 人のエージェントを送り込むことはできません。なぜなら、Andy Jassy があなたのボットを見つけ検知して、あなたをシャットダウンするからです。 Slack、Gmail、およびその他の一般的なアプリケーションやウェブサイトのクローンを作成することでこの問題を解決できます。しかし、少なくとも現状では、これは環境を構築するための非常に労働集約的でスケーラブルではない方法です。もちろん、AI がコーディングにおいて自身でこれらのクローンを極めて高い忠実度で構築できるほどに熟練すれば、コンピュータ操作は大幅な進歩を遂げると確信しています。また、この手順は二羽の鳥を一石で殺す効果もあります。なぜなら、複雑なアプリケーション全体をゼロから再構築するよう AI に指示することは、コーディングにおける優れた強化学習（RL）目標となるからです。 しかし、コンピューター利用そのものがまもなく解決されるかもしれない一方で、現在の停滞は次のことを示しています。つまり、ドメインに対して非常に反復可能なトレーニングターゲットを構築できない限り、モデルは大きな進展を遂げることは困難だということです。これが真実である理由は当然のことながら、モデルがトレーニング中に驚くほどサンプル効率が低いからです。これは私が[私の最後のモノローグ](https://www.dwarkesh.com/p/the-sample-efficiency-black-hole)で指摘していた点です。 コンピューター利用においては、このサンプル効率の欠陥を、これらの農耕可能な決定論的シミュレーターを構築することで補えるかもしれません。しかし、AGI が学習する必要がある多くの異なる種類のスキルについては、私たちは単にこれを行うことができません。 AI にビジネスを構築させるにはどうすればよいでしょうか？裁判で勝つのが本当に得意な AI を作るにはどうすればよいでしょうか？あるいは、市場での日次取引で利益を出すこと？それとも候補者の選挙勝利を支援すること？ロールアウトには世界との相互作用が必要であり、データセンター内だけで単純に再現することはできません。また、外側のループの検証には、現実世界の行動が数ヶ月から数年かかることもあり、モデルの動作を数千回並列に変化させて何をしたのが実際に効果があったのかを特定できるように再観測することもできません。 このような [リセットフリー](https://arxiv.org/abs/2104.11203) な非定常環境への対処は、強化学習（RL: Reinforcement Learning）における既知の未解決問題です。私が新しいことを指摘しているわけではありません。しかし、世界中のほとんどのドメインにおいてデータが固有かつ希少であるという性質ゆえに、熟練するにはサンプル効率性が不可欠であることを、私は強く強調したいのです。 AI が人間が持つすべてのスキルを、さらには人類が持たないようなスキルさえも習得するためには、限られた実世界との相互作用から得られる、非構造化で検証不可能かつ曖昧な方法によって示される情報から学習できる必要があります。なぜなら、多くのドメインでは、関連するトレーニング情報が他のいかなる形でも存在しないからです。 AI をリンカーン・ジョンソン並みに政治に長けさせたり、イーロン・マスク並みに宇宙発射事業を構築できるようにするための強化学習環境とは何でしょうか？ 研究ラボは、RLVR がこれらすべての他のドメインにも一般化すると賭けています。十分にコンテナ化され再現可能な環境で訓練すれば、計画を立てて実行し、新しい情報から急速に学習し、セッション内で新たなスキルさえも習得できる、非常に汎用的なエージェントが育成されます。 この無限に RLVR された AI を 1948 年のテキサス州政治に放り込めば、上院議員の座を勝ち取るためのアドバイスについて LBJ よりも優れた助言を与えることができるでしょう。そして、2002 年に 1 億ドルを与えて任せておけば、あなたのために SpaceX を構築することもできるのです。 RLVR が本当にそこまでよく一般化するかは、未解決の実証的な問いである：もし研究所が RL 環境に数十億ドルを費やすことから、1 兆ドルの投資へと移行した場合、コンテキストウィンドウ内で完全に一般化された人間のような知能が動作するようになるだろうか？ Dario は私とのポッドキャストの中で、示唆に富む発言をしていた。それは RLVR の一般化がこのように無限に強力ではないことをほのめかしていると思うと私は考える。彼がモデルのパフォーマンスが長いコンテキストで低下する傾向がある理由を説明していた際、こう述べた。 トレーニングを行う際のコンテキスト長と、サービス提供時のコンテキスト長は別物だ。もし短いコンテキスト長でトレーニングを行い、その後長いコンテキスト長でのサービス提供を試みるとすれば、おそらくこれらのパフォーマンスの低下が生じるだろう。 私が読みすぎているかもしれないが、彼は短期間の RL トレーニングが必ずしも長時間の RL パフォーマンスに一般化されるとは限らないと言っているように思える。そして、もし短期から長期への一般化ができないのであれば、エージェントはどのようにして多くのホワイトカラータスクのトレーニングから、例えば現実に放り込まれてサム・ウォルトン同様にゼロからビジネスを構築することへと一般化するべきなのだろうか？ たとえ十分なコンテキスト内での経験を経て、AI がアルベルト・アインシュタインやヘンリー・フォードのような存在になれたとしても、その学習成果を重み（weights）に還元できないのであれば、それらはすべて一時的なものであり、無駄に終わってしまいます。現在、研究機関の計算資源の約 30〜50% が推論（inference）に費やされていますが、この計算資源はモデル改善に役立つ生産的な活動にはほとんど使われていません。なんと無駄なことでしょう！それ以上にひどい状況です。なぜなら、最も価値ある学習情報が明らかになるのは、実際に導入された時だけだからです。「私が現在利用されている組織では実際何が起こっているのか？」「私を何のために使っているのか？」「そして現実世界で私はどのようなミスを犯しがちなのか？」といった問いに対する答えが得られるのは、デプロイ（deployment）されて初めてなのです。 私たちは、インターンシップの機会すら許されていない天才的な大学院生のような存在に、環境における強化学習（RL training）という形で教室でのケーススタディを次々と与え続けています。経済全体を通じて広く展開され、数百万もの異なる課題に対して実践し、組織固有やドメイン固有の暗黙知（tacit knowledge）にアクセスできるにもかかわらず、その蓄積される経験に対して AI を訓練しないのは奇妙であり、無駄なことです。 しかし、このような継続的な学習には、重みへの回帰が必要です。AI は、より多くのユーザーから学習するたびにサイズが大きくなる KV キャッシュを単に積み上げていくだけではいけません。それはスケーラブルではなく、また人間が学習する方法とも一致しません。私たちにパラメータと活性化の間に分離があるわけではありませんし、生涯を通じてより多くのことを学ぶにつれて頭蓋骨からさらに突き出してくるような、これらの高速重み表現のかたまりが存在するわけでもありません。私たちが何かを学ぶとき、明らかに何らかの圧縮が行われており、それが一般化や理解（grokking）を助けます。実際には、数年後に無作為な数字の表や意味のない音節に対する自閉症の天才型記憶力を持つ[ある人間](https://www.amazon.com/Mind-Mnemonist-Little-Memory-Foreword/dp/0674576225)が存在します—これは本質的に、モデルがコンテキスト内で持つ情報の忠実度の一種です。そして、そのような膨大な量は、これらの人間の抽象概念や比喩を理解する能力を麻痺させます。人間の継続的な学習は、すべての観察結果を舌の先で扱えるようにすることよりも、適切な直感と全体像の知識を重みの中に刻み込むことの方が重要です。 しかし、重み付け（weights）の領域に移行すると、コンテキスト内学習（in-context learning）のサンプル効率性を捨てる必要があります。なぜなら、勾配更新（gradient updates）は極めてサンプル非効率的であり、オンラインで実装された学習モデルはすべて、数百万人のユーザーにわたって同じことを学ぶ必要があるからです。例えば、Cursor Tab モデルは、1 日に 4 億回以上のリクエストに対して「どの編集が承認されたか」という全く同じ目的関数を予測することでオンライン学習を行っています。少なくともこれまでに、異なるユーザーに対して異なる種類のものをモデルがオンラインで学習する様子はまだ見ていません。なぜなら、単一のセッションでは人間が学ぶのに十分なデータを生み出すかもしれませんが、より能力の高い AI を訓練するには不十分だからです。 現在のオンライン学習は、非常に限られた数のユースケースには機能します。しかし、継続的学習（continual learning）の核心は、世界が非常に複雑であり、それぞれの仕事や企業、問題が異なるという点にあります。そして、特定のデプロイメントに関連する具体的な情報を学習できる知能が必要であり、それは共有されたトレーニングランに詰め込むことはできません。組織内のすべてのものがどのように機能し、どう連携しているか、インフラや周囲の人々と協力してより大きなプロジェクトで進展する方法、一般的な失敗モードなどです。 これが、サンプル効率性と継続的学習が実際には深く結びついた問題であるという方法です。モデルは「現場」で利用可能なデータが比較的少ない状態にあります。そのデータから学習するにはサンプル効率性が必要です。モデルはコンテキスト内でそれを実現できますが、このサンプル効率性を可能にするアテンション[3]によってその場で構築される「ファストウェイト」は、メモリ面において非常にスケーラビリティに欠けます。そのため、何らかの中間表現を可能にするアーキテクチャ上の革新が必要です。以前にも触れましたが、スパースアテンションや KV キャッシュ圧縮など、この種の取り組みに向けた多くの異なる実用的なアイデアが既に存在しています。私には、アーキテクチャそのものが継続的学習における根本的なボトルネックであるようには思えません。 おそらくボトルネックは損失関数にあります。ある特定のセッションから学習した情報に基づいて、重み（モデルそのものの改善）をどのように更新すればよいのでしょうか？ここでも直感的には、機能するはずのアイデアが多数存在するように思えます。最近では多くの人が[オンポリシー自己蒸留](https://x.com/dwarkesh_sp/status/2062353335529935114)について議論しています。その仕組みについて詳しく知りたい場合は、数週間前にサシャ・ラッシュが私に教えてくれたこの小規模な[即席黒板講義](https://youtu.be/wxOZWD6wYVY)をご覧ください。ただし説明を要約すると、アイデアの核心は、ベースモデルに対して、ある実世界の課題を解決しようとする際に、長いセッション後に蓄積されたすべての文脈を考慮したモデルが出力するはずの予測と同じ予測を行わせるよう促すことです。この手順の全体的な目的は、セッション内でモデルが学習した内容を重みそのものに蒸留することにあります。 これは RLVR よりも2つの理由で優れています。第一に、OPSD（オンポリシー自己蒸留）には外部ループで検証可能な報酬は不要です。文脈ウィンドウ内で正しいことを学習できるモデルがあれば十分です。それがあれば、セッション中にすべての経験を蓄積したベテラン教師モデルと一致するようにベースモデルを訓練できます。第二に、OPSD は単純な RL に比べてはるかに密度の高い監督信号を提供します。単一の報酬を軌道全体を通じて投影するのではなく、教師モデルと生徒モデルのトークンごとの確率差に基づいて訓練できるためです[4]。 継続学習において、OPSD は教師ありファインチューニング（SFT）よりも優れています。この用途における SFT の最も素朴なバージョンは、セッション中に観測されたすべてのトークンを予測するようにベースモデルを訓練することです。しかし、これは学習目標として意味がありません。仕事で上達する方法は、毎日起こったことを完璧な忠実度で書き写しを思い出すことではありません。むしろ、仕事をよりよく遂行するために関連する数少ない洞察や知識の断片を統合することによって達成されます。 RL 訓練はこの失敗モードに陥らず、結果を正しく得るために必要な部分だけに勾配更新を集中させるのが得意です—これが RL[からの更新が非常にスパースである理由](https://fireworks.ai/blog/frontier-rl-is-cheaper-than-you-think)です。これは継続学習にとって非常に重要な特性です。なぜなら、現場で学習を進める过程中、ベースモデルがすでに知っている他のすべての知識を上書きして忘れてしまうことを避けたいからです。 数ヶ月前に私は[投稿](https://www.dwarkesh.com/p/bits-per-sample)を行い、強化学習（RL）は教師あり学習に比べて1サンプルあたりに獲得する情報がはるかに少ないと論じました。しかし、これは悪いことではなく良いことかもしれません。あなたは結果を達成するために絶対に必要な分だけモデルを変更し、それ以上変更しないからです。OPSD はこの強化学習の性質を維持します。つまり、教師あり学習があなたに教えるような「教師分布」に向かってスリングショット（弾丸のように急激に）するのではなく、現実世界のタスクで同じ結果を得るために必要な知識だけを抽出するのです。 したがって、OPSD はサンプル効率の問題に対処する方法の一つです。限られた現実世界の経験を取得し、その信号をすべて小さく、的確な更新へと圧縮することができます。しかし、さらに別の、はるかに推測的なアイデアもあります。これを「夢想[5]」と呼びましょう。AI が新しいスキルを練習したり、代替戦略を試したり、効果のあるものを強化したりするための現実の良好なシミュレーションを構築できるのであれば、同じ壁時計時間（実時間）で、現実のサンプルよりも桁違いに多い模擬サンプルを経験できるようになるでしょう。 DeepMind が AlphaZero をリリースしてから数年後、EfficientZero という名前のモデルを訓練する研究者グループが登場しました。もしこのモデルと人間が、これまで見たことのないアタリゲームのシミュレーターに対してそれぞれ合計 2 時間ずつ対戦するとしたら、このモデルは初心者である人間に勝つ可能性が高いでしょう。これはつまり、このモデルの方が人間よりもサンプル効率（sample efficiency）が高いということでしょうか？いえ、それはサンプル効率をどのように測定するかによります。なぜなら、実ゲームの各ステップにおいて、EfficientZero は頭の中で数十回ものシミュレーションゲームをプレイしているからです。同様に、将来の大規模言語モデル（LLM）は、自分たちで構築した環境に対して無限に練習を行うことで、現実世界のデータを大幅に削減しながら学習できるようになるかもしれません。もちろん大きな違いは、世界全体をシミュレートすることは将棋のゲームをエミュレートするよりもはるかに難しいということです。だからこそ私は、これは非常に推測的な話だと述べたのです。 もしこれが実現すれば、事前トレーニング（pretraining）、強化学習（RL）、推論時の計算リソース（inference-time compute）に続くスケーリングの第 4 の軸となるでしょう。これをテストタイムトレーニング（test-time training）やドリーミング（dreaming）と呼ぶこともできます。モデルは、特定のユーザーに対して実際にプロダクションで使われるスキルを反復練習するための強化学習環境（RL environments）を作成し、計算リソースを費やすのです。Codex や Cursor、Claude に対して /compact コマンドを実行して少量の計算リソースで要約を書かせ、継続学習のシミュラクラム（simulacrum of continual learning）を与えるのではなく、/dream コマンドを実行することで、モデルが現実世界で目撃しているものをビデオゲーム版として構築・訓練するために膨大な計算リソースを燃焼させるのです。 では、2027 年末における継続的学習はどのような姿を呈するのでしょうか。また、そこへ至るにはどうすればよいのでしょうか。 このすべての RLVR（強化学習による検証・調整）トレーニングによって生み出されるエージェントは、見知らぬ問題に直面した際に自らの位置を把握し、異なる戦略を試行し、行き詰まりに遭遇した際には反復して改善する能力を持っています。これが RLVR がもたらす最も重要な成果です：少なくとも実世界での経験を積むために十分な能力を持つ AI です。 一度そのような能力を獲得すれば、そのエージェントを実社会へ送り出し、トレーニングデータ分布外のプロジェクトを含む実際の業務を任せることができます。 この時点では、有効なコンテキスト長が拡張され、この AI が壁時計時間での1週間をあなたと共同作業できるようになっている可能性があります。週が終わる頃には、あなたはそれに対して親指を立てるか下げるかを指示します。もし親指を立てれば、ベースモデルはセッション中に AI が学習したすべての内容を蒸留し、OPSD（オペレーション・プロセッシング・システム・デモ）や「夢見」など、私たちがまだ認識していない他の技術、あるいは上記のすべてを組み合わせた手法を用いてそれを行います。また、AI は RLVR（強化学習による検証と改善）を通じて、明示的に事前に訓練された領域に隣接する分野でも能力を向上させることができます。次のラウンドでは、以前オンラインで学習したことに隣接する事項においてさらに上達します。AI のスキル、知識、および能力の範囲は、モデルが展開される前に訓練された検証可能な領域をはるかに超えて広がります。事前トレーニングが、さらなる RLVR 訓練を通じて有能なエージェントとなるのに十分な基礎知能を生み出したように、RLVR は実際に世界で展開され、したがって継続学習という未来のパラダイムを活用するのに十分な能力を持つエージェントを生み出しました。 この時点で、AI がより良くなる主な方法は、モデルが一般公開される前に受けたトレーニングによるものではなく、むしろ世界中に広く展開され、さまざまな種類のタスクに従事することで蓄積してきた経験から得られるものです。あなたが AI と対話するたびに、それはより賢くなります。これは、すべての過去のセッションから学習しているだけでなく、世界中の他のユーザーとのすべての相互作用からも学習しているからです。これは恐ろしくも興奮し、現在の AI が改善される方法とは非常に異なります。 [Mercury](https://mercury.com/) は、私のビジネスにおける請求書支払いプロセスをほぼ完全に自動化しています。私は契約者に専用のメールアドレスを与えるだけで、彼らが請求書を送信すると、Mercury が自動的にレビュー用のドラフト支払いを作成してくれます。もはやメールボックスの中で請求書を探し回ったり、請求書を追跡するために messy なスプレッドシートと格闘したりする必要はありません。Mercury がすべてを処理します。詳しくは [mercury.com](http://mercury.com/) をご覧ください。 - ビデオを 1 時間視聴するだけで、テキストに換算すると約 100 万トークンを消費します。 - AI エージェントが特に囲碁（Go）で優れていると聞きます。その理由は、囲碁には優れた標準化されたパッケージマネージャーが存在する一方、Python や Typescript には「膨大な数のフレームワーク、型付けアプローチ、ユーティリティライブラリの組み合わせ空間」があるからです。このような空間は、勾配降下法によるクリーンで高スループットの並列探索には適していません。 - Llama 3 70B を基準として考えてみましょう。KV キャッシュ（文脈を学習することで構築される表現）は、トークンごとに 320KB ずつ増大します。一方、トレーニング時にはモデルが保持するのはトークンあたりわずか 0.075 ビットです（16 ビットのパラメータを持つ 70B モデルが 15 トリリオンのトークンで学習されています）。つまり、文脈内学習と事前学習の間には、トークンあたりの情報保存量において 3500 万倍の差があります。 - OPSD に対して予想される明らかな問題の一つは次の通りです。教師から得られるのは、生徒がエラーを犯す時点まで（およびその時点での）密な監督信号であり、それ以降の経路はそのエラーに起因して続きます。つまり、すでに誤った道を進み続けることになりますが、これは教師が決して訪れることのない道です。したがって、その点を超えると、ロールアウトの残りの部分については教師から有用なフィードバックを得られなくなります。この問題は「Trajectory-Refined Distillation（経路洗練蒸留）」と呼ばれる技術で解決可能だと考えられます。この手法では、エラー発生時点以降の経路を教師が書き直し、完全かつ正しい続行へと導きます。 - 参考までに、私が言っているのは、漏洩した Claude Code のソースコードに含まれるとされる今後の「夢想（dreaming）」機能のことではありません。これはおそらく、モデル自身が多数の Markdown ファイルを作成することに関するものだと推測しています。私が指しているのは、実際に重み（weights）そのものを更新することです。単に自分自身にメモを残すことで新しいスキルを蓄積できるとは思えません。以前の記事で使った例えですが、学生がサックスの演奏方法を学ぶのが、これまで一度も試したことがないこの新しい楽器を渡され、何が間違っていたかについていくつかメモを書き、それを次に同じく初めて触れる学生に渡すようなものだと想像してみてください。

次のパラダイム（7 分間の読了）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト