METR、最適化能力を測定する「Expenditure Horizon」手法と NanoGPT の適用例を発表

記事の3ポイント

1. 1

   支出ハライズの定義

   AI エージェントの最適化能力を評価する指標として、人間の努力に対するリターン曲線と AI の実行コスト曲線が交差する予算点を「支出ハライズ」と定義した。

2. 2

   NanoGPT における実証データ

   NanoGPT の最適化事例において、人間による 1% の改善には約 2,500 ドルの人件費が必要であり、AI エージェントによる先行実験では 1 万ドル以上の支出後に 0〜3,000 ドルが支出ハライズと推定された。

3. 3

   AI 研究加速の測定課題

   AI が自身の研究開発を加速させる度合いを評価する際、トークンコスト、計算リソースのコスト、および人件費をどう考慮するかが主要な難点であると指摘した。