テキストを本格的な最適化レイヤーとして位置づける（8 分読了）

機械学習研究者の間には、プロンプト、あるいはより広くはテキスト最適化に対して、共通の否定的な感情が存在しているように見受けられます。その背景にある考え方はおそらく、「真の学習は重みの中で起こるものである」といったものです。ここでいうテキスト最適化とは、モデルを取り巻く可変的なテキスト層（プロンプト、コンテキスト、ファイルシステムの状態、メモリ、検索データベース、およびモデルのハルネス）を変更する手法を広く指します。 私は、この層をより広い研究コミュニティによって真剣に受け止められるべきだと考えます。私はテキスト最適化の必要性について、3 つの理由から主張いたします。 - テキスト最適化は正当な更新メカニズムです。これは勾配に基づく重み最適化と同じ機能的役割を持ち、新しい情報に応じて将来の行動を変化させるものです。 - テキスト最適化は、重み最適化よりもはるかにサンプル効率的であり、特にデータが少ない状況において顕著です。比較的短く、尤度が高いテキストは記述長が低いため、テキスト最適化には有利な帰納的バイアスが働きます。 - テキスト最適化は新たなスケーリング軸である「更新時の計算リソース」を可能にします。反射的なテキスト最適化により、システムは単一の経験からより多くの計算リソースを費やして学習することができ、これは推論時のスケーリングがモデルが単一の入力に対してより多くのリソースを割くことができるのと同じ原理です。 ## 重み以外の学習#_n 展開された AI システムはもはや孤立して照会されるパラメータベクトルだけではありません。それらは複雑な [状態機械](https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/) であり、多くの可動要素を持ち、重みはその一部に過ぎません。このシステム全体が研究対象となるならば、学習とは行動を条件付けるあらゆる状態を変更することを意味します。重みは一つの状態であり、通常は勾配に基づく最適化を通じて更新されます。プロンプト、メモリ、検索インデックス、そしてハーンコードもまた状態の一部ですが、それぞれに異なるコスト、容量、および故障モードを持っています。重要な問いは、「特定の情報のためにどの更新対象が最も適切か」という点です。 テキストのアーティファクトには有用な帰納的バイアスがあります。通常のコルモゴロフスタイルの圧縮直感も適用されます：多くのケースを説明する短い仕様は、例外の長いリストよりも実際の構造を捉える可能性が高いのです。この意味において、優れたテキスト更新とは「事前学習された世界モデルに対するコンパクトなパッチ」です。経験則として、低データ領域におけるテキスト最適化は、サンプル効率において桁違いに優れています ([1](https://arxiv.org/abs/2103.08493), [2](https://arxiv.org/abs/2012.15723), [3](https://arxiv.org/abs/2507.19457))。このため、スケールにおける反復的なパターンとして、テキスト層を用いてモデル内の既存の能力を引き出し組み合わせ、それを時間とともに重みへと蒸留するアプローチが採られています ([Anthropic](https://www.anthropic.com/index/claudes-constitution), [OpenAI](https://openai.com/index/deliberative-alignment/), [Cursor](https://cursor.com/cursorbench), [Letta](https://github.com/letta-ai/context-constitution), [Hippocratic AI](https://hippocraticai.com/polaris-3/), [Harvey](https://trajectory.ai/field-notes/the-sovereign-path-for-continual-agent-learning-early-results-on-harvey-lab-with-nvidia-nemotron))。 ## Update-Time Compute: A New Scaling Axis# テキスト層は、**反射的学習**（[Reflexion](https://arxiv.org/abs/2303.11366)、[Trace](https://arxiv.org/abs/2406.16218)、[GEPA](https://arxiv.org/abs/2507.19457)、[Meta-Harness](https://arxiv.org/abs/2603.28052)）を可能にします。これは、テキストに基づいた最適化ループであり、システムが「どのように変更すべきか」についての仮説を**外部化**できることを意味します。これにより、更新時における*仮説検証*がスケーラブルに有用になります。システムはテキスト上で複数のアイデアを提案し、それらを新しい証拠と照合してテストした後で、受け入れるか拒否するかを決めることができます。これは科学者が一つの理論に落ち着く前に複数の理論を提案・検証する様子に似ています。このような仮説検証行動の実際の例については、[Meta-Harness の付録 A.2](https://arxiv.org/abs/2603.28052) を参照してください。SGD（確率的勾配降下法）はこれを安価に行うことができません。その単一の実行中のパラメータベクトルは各更新を確定させてしまい、分岐して比較する簡単な方法がないからです。 テキスト最適化の核心的な約束は、私たちが「更新時の計算リソース」をスケールできる点にあると考えます。推論時のスケーリングがモデルに単一のインスタンスを解決するためにより多くの計算リソースを使わせるように、反射的なテキスト最適化はシステムに単一の経験から学習するためにより多くの計算リソースを使わせるものです。失敗した軌道は再読され、診断され、抽象化され、候補となる修正と対比してテストされた後、提案される更新へと変換されます。したがって、テキスト空間での学習は、(1) 失敗のコストが高い場合、(2) 望ましい動作を指定することが困難な場合、または (3) SFT（Supervised Fine-Tuning: 教師あり微調整）やオフライン RL（Reinforcement Learning: 強化学習）ではうまく機能しない豊富なオフライン追跡データが存在する場合に特に有用です。 ## 重みにおける学習の最も強力なケース、および私の反論# 学習を重みに保持することにはいくつかの説得力のある議論があります。それぞれについて、私はその議論に対する私の最良の解釈を述べた上で、反駁形式で応答します。 ** 重みは「費用の平準化」をもたらします。一度行動がモデルに訓練されれば、システムは各コンテキストウィンドウ内でその行動の完全な仕様を保持する必要がなくなります。一方、コンテキストウィンドウは有限のリソースです。 私は、多くの種類の情報が最終的には重み（weights）に属すべきだという強い論拠があると思います。同意します。例えば、LLM は、すべてのリクエストに対して基本的な算術を説明するために長いプロンプトを必要とするべきではありません。しかし、ここでも、検索エージェントが動的なインターネットの文脈を集めたり、変化するユーザー履歴、好み、およびプライベートな状態に依存するパーソナライズされたエージェントのように、多くの有用な情報は、安定性や一般性が十分ではなく、コストの償却（amortization）に見合う価値がない場合があります。私は、適切な枠組みはルーティング問題として捉えるべきだと考えます：重みとは、安定しており繰り返し有用な情報が属する場所であり、テキストとは、情報が揮発的（volatile）、局所的（local）、監査可能（auditable）、または償却するにはまだ信頼性が十分でない場合に情報が留まる場所です。 さらに、優れたテキスト層システムは、利用可能な情報をすべてコンテキストウィンドウに書き込むわけではありません。それらは情報の段階的開示を実装しており、必要な場合にのみ関連する情報を取得して条件付けます ([RAG](https://arxiv.org/abs/2005.11401)、[MemGPT](https://arxiv.org/abs/2310.08560)、[RLM](https://arxiv.org/abs/2512.24601)、[Anthropic dynamic workflows](https://x.com/ClaudeDevs/status/2060044853279617150)、[Meta-Harness](https://arxiv.org/abs/2603.28052))。適切な組織化が行われていれば、モデルの入力ウィンドウよりもはるかに大きなコンテキストに対して暗黙的に条件付けを行うことは比較的容易です。何を包含すべきかを知っていれば、驚くほど多くの情報をコンテキストに詰め込むことができます。1M トークンのコンテキストの 1% は 10K トークンであり、これはこの投稿の 3 部分以上に相当します。これが読者のメンタルモデルを意味ある形で変化させるのに十分であることを願っています。 ある情報が重みに分散して組み込まれる価値があるとしても、それを即座に分散する必要はありません。私はテキスト層を、最終的に重みに凝縮される可能性のある情報のための柔軟な「待機地」として捉えるようになりました。この層は、モデルにコミットする前に行動仮説を検証し洗練させることを非常に容易にします。テキスト層を進化させ、時間をかけて重みを改善するためにそれを使用する方法の仕組みは、直接の凝縮 ([1](https://arxiv.org/abs/2209.15189), [2](https://arxiv.org/html/2601.19897v1), [3](https://arxiv.org/abs/2602.12275), [4](https://arxiv.org/abs/2603.16856))、合成データ生成 ([5](https://arxiv.org/abs/2504.21798), [6](https://arxiv.org/abs/2601.16443), [7](https://arxiv.org/abs/2602.21193), [8](https://arxiv.org/abs/2604.25727))、トレーニングループ自体の修正 ([9](https://arxiv.org/abs/2603.08640), [10](https://arxiv.org/html/2604.14116v1))、あるいはファスト・スロー学習フレームワーク ([11](https://arxiv.org/abs/2605.12484)) を通じてであっても、興味深い未解決の研究課題です。 重みのトレーニングは新しい神経回路を創出しますが、テキスト最適化は固定された重みセットから既存の行動を引き出すことしかできず、その重みが与えられた場合、テキスト層が到達できる上限が存在します。 弱いモデルではテキスト最適化に活用できる要素が極めて少ない点には同意します。しかし、このような限界はテキスト最適化固有のものではなく、この議論は [強化学習 (RL)](https://openreview.net/forum?id=4OsgYD7em5) に対しても行われてきました[2](#fn:ceiling-rl)。テキスト最適化が有用であるためには、完全に新しい潜在能力を創出する必要はありません。多くの導入済みシステムは、モデルが原理的に特定の行動プリミティブを実行できるかどうかではなく、その行動を信頼性を持って引き出し、組み合わせられるかどうかにボトルネックを抱えています ([mgh](https://alexzhang13.github.io/blog/2026/mgh))。したがって実務的な問いは、モデルの潜在能力と導入済みシステムが実際に示す行動との間に、どの程度の有用な余地が残っているかです。 経験則から、テキスト層の改善には大きな余地があることが示されています。これは、検索拡張 QA、テスト時のスケーリング、ツール使用エージェント全体にわたって現れます：重みを変更するのではなく、コンテキストや実行環境を変更することで、固定モデルの動作が改善されます ([1](https://arxiv.org/abs/2005.11401), [2](https://arxiv.org/abs/2201.11903), [3](https://arxiv.org/abs/2203.11171), [4](https://arxiv.org/abs/2210.03629), [5](https://arxiv.org/abs/2603.28052))。また、スケールが大きくなるほどテキスト条件付けの価値も増す傾向があります：大規模モデルは推論時に供給される情報を活用する能力が向上し、一部の文脈条件付き能力は大規模化して初めて現れるようになります ([1](https://arxiv.org/abs/2005.14165), [2](https://arxiv.org/abs/2104.08691), [3](https://arxiv.org/abs/2206.07682))。 「存在論的議論」：人間の脳は明らかに知能を持っています。重み alone を変更することによって学習することは可能でなければなりません。 私は実際、テキスト最適化に対しても同様の存在論的議論を行います。すべての書かれたテキスト（書籍、論文、コード、ウェブページなど）のコレクションを見てください：優れた外部表現は人間の知能を劇的に増幅します。**もし突然すべての外部テキストから切り離されたら、私たちの仕事の質がどれほど低下するでしょうか？** ** 誰でもテキストアーティファクトを変更し、一見より良く見える出力を得ることができます。テキスト最適化は、ベンチマークのリークやモデル心理学に関する民間理論に対して特に脆弱です。 まず、テキスト最適化は初期の成功によって不適切にマーケティングされてきました。最も目立つ例としては、「ステップバイステップで考えよう」[「let's think step by step」](https://arxiv.org/abs/2205.11916) や「深呼吸しよう」[「take a deep breath」](https://arxiv.org/abs/2309.03409)、「これは私のキャリアにとって非常に重要です」[「this is very important to my career」](https://arxiv.org/abs/2307.11760)、[ペルソナ](https://arxiv.org/abs/2402.10949)、そして[脅しとチップ（報酬）](https://arxiv.org/abs/2508.00614)といった、モデルの面白い癖が挙げられます。より新しいモデルがこうしたトリックに対して頑健になるにつれて、テキスト最適化そのものが消滅すると結論づけたくなるのはおそらく誘惑でしょう。しかしそれは、分野に対する初期の弱い枠組みと、根本的な研究問題とを混同しています。 テキスト層でのいじくりは非常に簡単です：誰でも指示を編集し、選ばれた出力に基づいて勝利宣言ができます[3](#fn:tinkering)。この参入障壁の低さが、ここでは悪質な科学が一般的になる原因となっています。むしろ、私はこのような未熟な方法論的規範こそが、テキスト最適化をより厳密に研究すべき強力な根拠であると捉えています。特にその実用的重要性を考慮すればなおさらです。 勾配降下法（gradient descent）は真の最適化アルゴリズムです。その仕組みを理解するには、最適化・一般化・収束に関する膨大な文献に頼ることができます。一方、テキスト最適化はヒューリスティックな山登り（hill-climbing）です。 収束理論は、プロキシ損失を最小化することを保証するだけであり、そのプロキシが実際に我々が重視するものと一致することを保証するものではありません。より強力な最適化アルゴリズムは、この乖離を利用するだけです。この分野では、一般化ダイナミクスに関する理論分析から、経験的なスケーリング則とベストプラクティスへと大きく移行しています。特に RL（強化学習）のポストトレーニングは、この種の過学習に対して非常に繊細で脆弱であることで有名です ([1](https://arxiv.org/abs/2210.10760), [2](https://arxiv.org/abs/2403.17031), [3](https://arxiv.org/abs/2512.07611), [4](https://arxiv.org/abs/2510.13786))。一方、テキスト層への編集は、より弱い最適化圧力をかけつつも、依然として高度に監査可能であり、多くの場合で組み合わせ可能となります。 ニューラルネットワークは汎関数近似器であり、あらゆるものを表現することができます。 表現能力こそが注目すべき点ではありません。たとえ 2 レイヤーの MLP（多層パーセプトロン）でも*原理的には*任意の関数を表現できるかもしれませんが、それが効率的かつ信頼性を持って学習できることを意味するわけではありません。我々が注目すべきは、到達可能な振る舞い**、すなわち暗黙的な事前分布の下で十分に高い確率を持つ振る舞いが何であるかです。ハーンズ（Harnesses）は、単一のフォワードパスを通じて、凍結されたモデルでは期待できないような振る舞いを実行できることが実証されています。 テキストアーティファクトは移植性がありません。それらは特定のモデルの癖に過学習しており、次のチェックポイントでしばしば破綻します。 関連する比較は、他の更新アーティファクトとのものです。あるモデル向けに書かれたテキスト・アーティファクトは別のモデルでは失敗することがありますが、あるアーキテクチャ向けに訓練された重みデルタは、通常全く移植可能ではありません。テキスト・アーティファクトはわずかに移植性が高いです。なぜなら、テキストはモデル間を跨いで意味を保持し続けるからです。 ## 振り子が行き過ぎたのではないか？# 「重みが真の学習である」という見方は、初期の AI に対する反応の一部でもあります。当時、研究者たちは内部パラメータを変更することで学習できるシステムを構築することに注力していました。数十年にわたり、支配的な図像は知能を明示的な記号操作として捉えていました。ニューエルとサイモンの[物理記号系仮説](https://cacm.acm.org/research/computer-science-as-empirical-inquiry/)や、ハウゲランドの[GOFAI](https://mitpress.mit.edu/9780262081535/artificial-intelligence/)は、この思考様式の典型例です。ニューラルネットワークは、これがあまりにも狭い見方であることを示しました：有用な情報は明らかに重みに存在し得るのです。現代の LLM（大規模言語モデル）がその主張に対する最も強力な証拠となっています。 私たちは、知識の唯一の真面目な拠り所として重み（weights）を見る方向に、やりすぎた修正を加えてしまったようです。これは、視野を広げて見れば奇妙なことです。なぜなら、人間の認知は日常的に外部の人工物に依存しているからです。『野外における認知』（Cognition in the Wild）において、エドウィン・ハッチンズは、船の航海を人々、計器、手順、そして外部表現からなる認知システムとして分析しています。クラークとチャームズも、『拡張された心（The Extended Mind）』で同様の指摘を行っています：認知システムの境界は、単一の構成要素の内部状態を超えて拡張しうるのです。この系譜におけるコンピュータサイエンス版は、少なくともヴァネヴァー・ブッシュの『Memex』にまで遡ります：これは個人的アーカイブを通じた連想経路を中心に組織された外部メモリです。Notion や Obsidian といった現代の思考支援ツール（tools-for-thought）は、外部メモリを日常の知識作業の一部とするための具体的な試みです。 *科学的実践* は有用な比較対象となります。科学の核心的な目標の一つは、世界をコンパクトに表現することであり、これは科学者たちの頭の中にある私的な直観によって支援されますが、それらに還元されるものではありません。通常、その成果物は結晶化され、抽象概念、定理、あるいは因果モデルとして現れ、これらは書き留められ共有することができます。これらの価値は主に外部化から生じます：批判に耐え、新たな証拠と比較し、修正され、新しい事例に応用できるからです。テキストアーティファクトはモデルシステムにおいて同様の機能的役割を担います：それらは行動に関連する抽象概念を符号化した外部表現であり、これらを更新することは、新たな証拠に基づいて科学理論を修正することと同じ意味での「学習」です。 ## テキスト層に関する良質な研究への呼びかけ# テキスト最適化には、重み最適化の周りに築かれたコミュニティと同様のコミュニティが必要だと私は考えます。また、ここにもっと高品質な研究が存在することを願っています。非常に近い将来において、基礎的な作業に適していると思われるいくつかの方向性があります： - テキスト層の理論的分析。一般的に、テキスト空間は重み空間よりもはるかに優れた事前情報（prior）を提供し、この観察結果を明確に形式化することは、実践を導く上で非常に有用である可能性がある。これは 2023 レベルのモデルに対するプロンプトへの PAC-Bayes の適用を試みた古めの論文だが、最新世代のモデルやテキストアーティファクトを用いて再検討する価値が十分にある。 - より良い評価指標。CL-bench は文脈学習のための適切な評価の初期試みであり、TerminalBench-2 などのエージェントベンチマークはハッチネス（harnesses）の争奪戦の場となっている。しかし依然として、重みの能力を統制しつつ、テキスト層がもたらす過剰適合や不正行為という新しいクラスの特徴を浮き彫りにする、テキスト層の有効な特性を孤立させたベンチマークが必要である。 - 「アーキテクチャ研究」、つまり設計空間の理解。インストラクション階層、DSPy プログラム、エージェントスキル、OpenClaw スタイルのエージェント、そして膨大な数のメモリシステム設計など、テキスト層に対する提案された設計は数多く存在する。これらはすべて巨大な設計空間上の点であるという感覚はあるが、その空間について語る適切な方法すらなく、ましてやその中の異なる点を比較する方法はない。 - 人間から入力を引き出してテキスト層を最適化する方法、およびシステムの内部状態をユーザーに提示して検査・修正を行う方法に関する HCI（人間とコンピュータの相互作用）研究。テキスト層との適切な対話方法を確立できれば、ドメインのトップエキスパートが AI システムと定期的に「音声による微調整」セッションを持つことを経済的に実現可能にするだろう。この方向性の優れた事例は知らないが、私のこの論文も本質的に同じ動機に基づいており、非常に限られた領域ではあるが機能した。 - テキスト最適化の大幅な拡張、スケーリング則（scaling laws）の確立を含む。現在テキスト最適化に割り当てられている計算リソース予算は、重みのポストトレーニング規模よりも桁違いに小さい。例えば、拡張されたアーティファクトは、測定可能なモデル・システム性能に対して最初から最適化されたウィキペディア規模の知識/ハッチネス層のようなものになる可能性がある。 - 初期草案に対する優れたフィードバックを提供してくれた Omar Khattab, Allen Nie, Chelsea Finn, Alex Zhang, Ahmad Beirami, Qizheng Zhang に感謝する。この投稿は過去 1 年ほどの研究者との多くの対話の集約であり、ここではそれらをすべて列挙しようとは思わない。 ## 脚註# - 私は「テキスト」という言葉を使っていますが、これは言語が最も明確かつ一般的なケースであるためです。しかし、この議論は画像、音声、動画、および他のトークン化された状態など、モデルの将来の行動を条件付けうる外部アーティファクト全般に適用されるべきものです。↩ - これは論争の的となっています。ProRL と『The Art of Scaling RL Compute』は、適切なトレーニングレシピがあれば、強化学習（RL）によってベースモデルを超えた推論能力を拡張できると主張しています。個人的には、真実はその中間にあると考えています：設計上、強化学習は新しい行動を発見できるはずですが、ベースモデルの質に対する強い経験的依存関係があるのは確かです。いずれにせよ、ここで述べた詳細は、私が本記事で展開している議論にとっては重要ではありません。↩ - 私はこれが比較的頻繁に起こっていることを見ています。少なくとも重み空間の研究よりも多く見られます。誰もが最適なシステムプロンプトやスキルについて強い意見を持っています。これはおそらくソーシャルメディアのダイナミクスによるものです：「モデルを 10 倍賢くする奇妙なトリック」は、いかなる重み空間への介入よりもはるかに実行可能です。↩ - 私はこれが良いスタートアップになるかもしれないと考え始めています。↩

テキストを本格的な最適化レイヤーとして位置づける（8 分読了）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト