ハルネスへの過学習のコスト（2 分読了）
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TLDR AI
大手 AI ラボが特定のユースケースにモデルを最適化し、ハルネス設計を学習させることで汎用性が低下している。これにより一部企業のアプリケーション構築は容易になるが、ベンダーロックインという代償が生じる。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
OpenAI がファインチューニングの縮小を進めているというニュースは興味深い展開であり、注目すべき点です。
一方で、モデル最大主義者たちは、より大きなモデルがますます多くのタスクで向上しているため、その重みを調整する必要性は低くなっていると主張するでしょう。
他方で、大手ラボは自社のモデルを限られた用途に特化させつつ、ハッチス設計をモデルに組み込むことでトレーニングを進め、結果として汎用性を低下させています。これには「これでよい」という議論もあり、コーディングや推論能力が他のほとんどの問題を解決できると考えられているからです。
しかし、私たちが最終的に得るのは、自社のハッチス用に構築されたモデルです。
Mario Zechner は今週、OSS の Pi ハッチス で GPT と格闘しており、特定のハッチス内での振る舞いを引き出そうとしていましたが、Claude はそのすべてのステップで彼に抵抗していました。
この状況が続けば、最先端ラボのモデルとサードパーティ製ハッチスを組み合わせる際に、サードパーティ製ハッチスの価値が低下する世界が訪れる可能性があります。なぜなら、ファーストパーティ製のハッチスでの振る舞いはすでに組み込まれているからです 1st party harness behavior is already baked in。また、この振る舞いを一般化して回避するためのファインチューニングによる脱出経路はもはや存在しません。
この世界では、フロンティアモデルは一般プラットフォームではなく家電製品のようなものになります。ハルネスを訓練済みであり、それを調整する能力がない場合、これは一部の企業にとってはアプリケーション構築を容易にするかもしれませんが、その代償としてロックインが生じます。多くの人にとって、信頼性の向上はその価値があるでしょう。
- ジョン・シラカサの iPhone における「裸のロボットコア」モデルが思い出されます。これは理想的には、多くの形状のアプリケーションやインターフェースをサポートできる共通の分母となるデバイスです。 ↩
原文を表示
OpenAI winding down fine tuning is an interesting development and one to watch.
On one hand, model maximalists will argue the largest models keep getting better at more things, so the need to adjust the weights of them is less necessary.
On the other hand, the big labs keep pushing their models to a handful of use cases while training their harness designs into the model, rendering them less generalized. There’s an argument *this is fine*, because coding and reasoning abilities will solve most other problems.
But what we end up with are models build for their own harnesses.
Mario Zechner was wrestling with GPT in the OSS Pi harness this week, trying to wrangle out specific in-harness behaviors, with Claude fighting him every step of the way.
If this continues, there’s a world where 3rd party harnesses become less valuable when used with frontier lab models because the 1st party harness behavior is already baked in. And there’s no longer a fine tuning escape hatch to generalize this behavior away.
In this world, frontier models will resemble appliances, not general platforms1. With their harness trained in and no ability to adjust it? This might make application building easier for some enterprises, but the trade off is lock in. For many, improved reliability will be worth it.
- I’m reminded of John Siracusa’s “Naked Robotic Core” model for the iPhone, that it ideally is a common denominator device that can support many shapes of applications and interfaces. ↩
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み