Anthropicの初代技術PMが語るtoken maxingとjagged edge、そして未来を生きる

Anthropicの初代技術プロダクトマネージャーであるダイアン・ペンは、生成AIの開発において「評価（evals）が新たなPRD（製品要件定義書）」であると語る。従来の定性的な要件定義に加え、モデルの挙動を数値化しユーザーフィードバックを研究チームに還元するプロセスこそが、現在では製品価値を駆動する核心となっている。

評価指標こそが新たな仕様書である

ペンは、評価指標の作成が単なるテストの実施ではなく、ユーザーの痛みポイント（pain point）を深く理解し、再現可能なデータセットとして構築する行為そのものであると指摘した。具体的には、モデルがJSON形式で出力できないといった失敗事例から分析を開始し、研究チームが改善に取り組めるような「評価セット」を作成するプロセスを経験している。

この考え方は測定できないものは改善できないという原則に基づいており、PMにとってモデルの挙動を数値化するスキルが必須となる時代へと移行していることを示唆している。

コーディング機能への転換とOpus 3の決断

2023年にペンの入社当時、AnthropicやClaudeを「コーディング」と結びつけて語る人は誰もいなかった。当時の競合他社モデルもコード補完には使われていたが、長文のコード生成という用途は主流ではなかった。

しかし、ユーザーが単なる補完ではなく実際に長文のコードを書き始める姿を観察したことが、社内での重要な転換点となった。ペンはこれをOpus 3の訓練における決定的なマイルストーンと位置づけ、「これは私たちがOpus 3をより良く訓練するための機会ではないか」という問いが社内で投げかけられ、それがFrontierモデル（最前線のモデル）としてのClaudeの確立へと繋がった。

この転換点は単なる機能追加ではなく、Anthropicが「なぜユーザーはClaudeを選ぶべきなのか」という本質的な問いに対する回答の一つとなった。2024年初頭、社内の研究チームやエンジニアが自宅から協力し合いながらモデルを訓練した経験は、製品と研究の間の信頼関係を築く基盤となり、現在の強固な連携体制へと発展していった。

Claude CodeとOpus 4.5：モデルと製品の相乗効果

Opus 4.5の登場は、単にモデルの知能レベルが向上しただけでなく、「Claude Code」という製品体験という「乗り物」が揃ったことで、エージェントとしての飛躍的な進化を促した瞬間であった。

ペンは、この二つの要素が互いに作用し合ったことを強調する。「Opus 4.5にはClaude Codeのような優れた製品体験がなければあの瞬間は訪れず、逆にClaude Codeの普及もOpus 4.5の知能レベルがなければ加速しなかった」という相乗効果こそが、AIエージェント社会への架け橋となった。

また、初期の「Golden Gate Claude」のような実験的なプロダクト体験を通じて、Anthropicは研究チームと製品チームが一体となり、競合とは異なる独自の世界観を構築する文化を育んできた。これは、トップダウンではなくボトムアップでエンジニアやデザイナーが時間を寄付し合うスタートアップらしい文化が、現在の成功の土台となっていることを示している。

トークンコストの最適化：未来の標準的な働き方

生成AIの利用において、コスト効率（トークン最適化）が品質と同等に重視されるようになっている。ペンは、高額なトークン利用を「2028年の生活様式」と捉え、開発者は像素（ピクセル）と同様にトークンを厳密に管理する必要があると指摘した。

「あなたは、ピクセルと同じくらいトークンを汗して管理しなければならない」

これは、AIツールを活用してアイデアを生み出す際、単に「使えるか」だけでなく、「いかに効率的に使うか」という視点が求められることを意味する。未来のAIエージェント社会では、トークンコストを最適化することが、製品開発者の必須スキルとなるだろう。

手探りから確立へ進むプロダクトマネジメント

ダイアン・ペンの語る内容は、AI時代におけるプロダクトマネジメントの役割変化を鮮明に浮き彫りにしている。定性的な要件定義だけでなく、モデルの挙動を数値化する評価指標の設計がPMの必須スキルとして確立されつつある。

エンジニアリングとプロダクト戦略の融合が加速し、トークンコストの最適化やユーザーフィードバックの定量化が、製品開発の質を決定づける要素となっている。未来のAI社会では、手探りから確立へと移行する中で、現場で実際に手を動かして技術を理解し、ユーザーの声を数値に変換できるPMこそが、次世代の製品を切り拓いていくことになる。

ペンは中堅以上のPMに対しても「自ら手を動かすこと」の重要性を説く。管理職であっても技術に深く関わり、実際にプロダクトをリリースする経験を持つことが、良いAI製品の姿を理解しチームを導くために不可欠であると強調している。これはAIという不確実性の高い領域において、現場の知見と直感を失わないための重要な姿勢である。

Anthropicの歩みは単なる技術競争ではなく、ユーザーの痛みポイントに寄り添い、それを数値化して改善し続けるプロセスそのものである。このアプローチが未来のAI社会を生きる私たちにとってどのような製品体験をもたらすのか。その可能性はまだ始まったばかりだ。