自己改善型ハーネスとローカル個人 AI、YC の業務用エージェント

プロンプトエンジニアリングは終わった？「ハーネス」が AI 性能を劇的に変える真実

Y Combinator の研究チームは、AI エージェントの進化において「プロンプトエンジニアリング」や「スキャフォールディング」という言葉で片付けられてきたハーネス（実行環境）こそが、モデル性能を決定づける最大の鍵であると主張します。単なる設定ファイルに過ぎないと見なされがちだったこの要素が、自己改善型システムやマルチエージェント協調の導入により、AI の能力を劇的に引き出すプラットフォームへと進化しているのです。

「ハーネス」は研究価値がないという誤解

「ハーネスはただのスクリプトだ」「プロンプトエンジニアリングに研究価値はない」という声は、過去 1 ヶ月ほどの Reddit 上の議論でも見られるほど根強いものです。しかし、Y Combinator の視点では、この認識こそが AI 発展のボトルネックになっています。

実際には、ハーネスの設計一つでモデル性能に18% もの差が生じます。これは単なる微調整ではなく、AI がタスクを成功させるか失敗するかを分ける決定的な要素です。特に「ARC-AGI」という流体知能（新しい問題への適応力）を測るベンチマークでは、ハーネス設計の良し悪しがスコアを30% から 95%へと跳ね上げました。

「ハーネスは研究価値がないと見なされがちだが、モデル性能に 18% の差をもたらす重要な要素である」

この事実が示唆するのは、モデルそのものの推論能力だけでなく、それを動かす「タスク実行環境（ハーネス）の設計」こそが成否を分ける鍵だということです。

静的な設定から「自己改善型」へ

AI エージェントの進化は、過去数年で明確な転換点を迎えています。初期の頃は、一度設定したプロンプトやスクリプトをそのまま使い続ける「静的ハーネス」が主流でした。しかし、最近の 6 ヶ月間は、テスト時の経験に基づいて自ら適応・改善する「自己改善型ハーネス」への移行が急速に進んでいます。

多くの研究者がモデルの知能（IQ）やパープレキシティ（予測誤差）を向上させることに注力していますが、実際には「テストタイムでの経験」を活用しきれていないのが実情です。新しいドメインや問題に直面した際、モデルはすぐに適応できず、学習曲線が頭打ちになることが多々あります。

自己改善型ハーネスの真価は、この点にあります。バッチサイズを大きくする従来の学習方法では限界が見えても、動的な環境で試行錯誤し、その結果を即座にシステムにフィードバックさせることで、モデルは新しい問題に対して素早く適応できるようになります。

マルチエージェント協調が実現する複雑タスク

単一の AI モデルでは不可能だった「複雑で長期のタスク」を成功に導く手法として、マルチエージェント協調が注目されています。これは、複数のエージェントを役割分担させ、情報を共有・調整させることで、全体として一つの大きな目標を達成するアプローチです。

Y Combinator の実証例では、ある研究プロジェクトにおいて以下のようなフローが構築されました。

1. スコーピングエージェント: 類似論文や GitHub リポジトリを検索し、課題の範囲を定義します。
2. PI エージェント（クリス・レイ）とリサーチエージェント（ジョン・サウス・カーン）: 具体的な調査と実験計画を立てます。
3. 評価者（人間含む）: 中間結果に対してフィードバックを与え、方向性を修正します。
4. 監査役（クリス・レイ）: 進捗を監視し、必要なタイミングで作業員に指示を出します。
5. 執筆エージェント: 最終的に論文の作成やアブレーションスタディの実施を行います。

このように、各エージェントが専門的な役割を持ち、人間とのフィードバックループを挟みながら自律的に進めることで、以前は数ヶ月かかっていた研究プロセスを短縮し、質の高い成果物を生み出しています。これは単なる自動化ではなく、「人間の知性を拡張する協調システム」の完成形と言えます。

テストタイムスケーリングと評価の重要性

AI エージェントの実用化において、初期の実行結果だけで性能を判断するのは危険です。重要なのは、計算リソースや時間を投じることで性能が向上する「プラトー（天井）」まで到達させることができるかどうかという指標です。

これは「テストタイムスケーリング」と呼ばれる概念で、モデルに十分な時間と計算資源を与えれば与えるほど、その能力が最大限に発揮されることを意味します。初期の 1 回の実行では失敗に見えても、試行錯誤を繰り返す環境（ハーネス）があれば、最終的に高スコアに到達できるケースが多くあります。

「単なる初期実行結果での判断は誤りである」

ARC-AGI の例のように、同じモデル重みファイルであっても、適切なハーネス設計とテストタイムの活用により、NVIDIA の Prime Agent が 100% を達成したように、性能は劇的に向上します。

まとめ：システム設計こそが AI 実用化の鍵

この動画が示すのは、AI エージェントの実用化において「プロンプト調整」を超えた「システム設計」の重要性です。企業や開発者は、モデルそのものの推論能力だけでなく、それをどう動かすかというハーネスの設計こそが成否を分ける鍵であると認識を改める必要があります。

自己改善型ハーネスとマルチエージェント協調は、AI が単なるツールから、自律的に課題を解決し、成長していくパートナーへと進化するための不可欠な基盤なのです。