Anthropic、Claude Fable 5.1 で科学ベンチマークを大幅改善と発表

今日は「Claude Fable（および Mythos）5.1」の発表日です。Anthropic 社は、Fable 5.1 がコーディングや知識作業、そして長時間にわたる問題解決タスクにおいて新たな基準を打ち出したと述べています。

同社の発表資料では、科学分野の研究結果に特に注目が集まります。新たに登場した「Terminal-Bench-Science 0.1」ベンチマークで、Fable 5.1 は 52.6% のスコアを記録しました。これは Fable 5 の 24.7%、Opus 5 の 29.0%、GPT-5.6 Sol の 22.4% を大きく上回る結果です。このベンチマークは 8 月 27 日に初めて発表されました。

他のベンチマークでもスコアが若干向上していますが、科学分野での躍進ほど目覚ましいものではありません。

では、このモデルは「ペリカン（Pelican）」と呼ばれるタスクをどれほどこなせるのでしょうか？

昨年 7 月、私はペリカン・ベンチマークに対する信頼性が低下していることについて記事を書きました。当時のように、他のタスクでの性能との相関関係が強く保たれていないように思えるのです。現在、このベンチマークから得られる最も興味深い洞察は、同じモデルファミリー内での比較や、特に異なる推論レベルで同一のプロンプトを実行した際の比較にあります。

Fable 5.1 には 5 つの推論レベルが用意されています。低（low）、中（medium）、高（high）、超高（xhigh）、最大（max）です。ただし、推論機能を完全にオフにするオプションはありません。

llm-anthropic の Issue 88 で、推論トレースが正しく記録されなかった不具合を修正し、いくつかのプロンプトを実行しました。

すべての推論レベルにおけるペリカンの画像セットと、それぞれの完全な推論トランスクリプトはこちらで確認できます。ここではそれらを再現します。

低・中レベルとも推論なし？

次に少し不思議な結果です。low（低）設定で得られたのがこちらです：

トランスクリプト には要約された推論トークンは表示されておらず、出力トークン数は 1,998 です。Claude ではこの出力トークン数に推論トークンも含まれています。処理にかかった時間は 23.8 秒で、費用は 10.017 セントでした。

これを medium（中）に上げると、以下の結果が得られました：

不思議なことに、この生成結果にも 推論テキストは表示されていません が、出力に使用されたトークンは 1,977 個でした。これは low モデルの 21 トークン分よりも少ない数値です。生成にかかった時間は 23 秒で、コストは 9.912 セント でした。

この特定のプロンプト（「自転車を漕ぐペリカンの SVG を生成してください」）では、Fable 5.1 は low と medium の設定の両方で、推論プロセスを完全にスキップしているように見えました。

High

こちらが high モードの結果です。29.6 秒で 2,612 トークンを出力しました（コストは約 13.087 セント）。

今回は、少し推論が行われました。要約はこちら

ペリカンが自転車に乗る SVG レイアウトの計画を立てています。空と地面を背景に、スポーク付きの車輪 2 本、フレーム、シート、ハンドルバーを持つ自転車のほか、長い首とオレンジ色の嘴を持つ白い体のペリカンを上に配置します。

実際には low や medium とあまり違いはありませんでした。

Extra High

xhigh では状況が *劇的* に変わりました。出力トークンは 36,767、所要時間は 7 分 51 秒、費用は $1.83 です。

推論の過程は非常に長く、以下のような詳細な記述も含まれています。

目やハンドルグリップまで伸びる翼、ペダルに届くオレンジ色の脚、そして小さな尾羽を追加する。コミカルな効果のために、ペリカンが自転車に対して意図的に大きく描かれるようにする。[...] 若干の厚みは、過剰な設計ではなく愛嬌のある特徴として受け入れる。

Max

設定を max にすることで、Anthropic のモデルから得た中で最も優れたペリカンの画像を作成できました。出力トークンは 65,927、所要時間は 13 分 54 秒、費用は $3.30 です。

この画像には多くの良い点があります。背景の配色が洗練されており、足がフレームの左右に明確に配置され、足先がペダルに乗っています。翼はハンドルバーの上にあり、ペリカンは愛らしい青い帽子をかぶり、バスケットの中には魚も入っています。

まだ Gemini 3.7 Flash のような華やかさには及んでいませんが、私は「華やかさ」を求めたわけではありません。SVG を作成するよう指示し、その結果を得ただけです。

こちらの推論プロセス から抜粋した主なポイントは以下の通りです。

ペダルを両足元に配置し、遠くの足はフレームの後ろから一部見えるようにしています。キャラクター性を高めるために小さなスカーフや帽子を追加するか検討していますが、ごちゃごちゃしないようシンプルに保つ方向で考えています。また、頭部に自転車用ヘルメットをつけるか、ペリカンの特徴である crest（冠羽）にするかで迷っています。くちばしと喉袋はすでに「ペリカン」であることを明確に示しているので、ヘルメットを追加しても自転車というテーマを強調しつつアイデンティティを保てますが、視覚的なスペースで crest と競合する可能性があります。

(484,84) の位置にあるくちばしがドーム型のヘルメットと重なることに気づき、ヘルメットを縮小して頭頂部のみが覆われるようにする必要があります。そのためにアークの端点をより高く、狭い位置に調整し、前面で衝突することなくくちばしをきれいに接続できるようにします。

[...] 主翼を表すために暗めの先端領域を追加した後、尾羽の縁について、滑らかな一本の線ではなく、より自然な印象を与えるように波打つような羽毛のカーブを含めるか再考しています。

[...] ヘルメット上の通気孔の配置を確認し、ストローク幅と丸みを帯びたキャップを考慮して、通気孔がヘルメットの縁から十分内側に位置していることを確認します。また、各通気孔がヘルメットの円形境界線内に収まっているか確認しています。

[...] 不要な追加要素であるハンドルベルやタイヤのハイライトは省略することにしました。次に、フロントフォークのカーブを再検討します。現在の制御点が形状を後方に引き寄せていますが、適切な rake（前傾角）を得るためには前方に膨らむ必要があります。そのため、フォークの傾きを修正するために制御点を右側に移動させる必要があります。

さて、アニメーション化しましょう

Hacker News で swalsh 氏 がその「ペリカン」の件についてコメントしていました。

これでベンチマークが解決されたなら、アニメーション版も作れるはずですね？

私はさらに 3 ドルを払う気になれなかったので、Max ペリカンの出力をそのまま受け取り、思考レベルを「High（高）」に設定して Claude Fable 5.1 に投げ込んでみました。

llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'

入力トークン数 6,121、出力トークン数 26,201 で、コストは 1.37 ドル でした。結果はこのようになりました（こちら）。一部の環境ではアニメーション SVG の表示が難しいため、動画としてエクスポートしました。

お使いのブラウザは HTML5 ビデオをサポートしていません。

動画内の車輪は回転方向が逆ですが、これは MP4 への変換過程で生じたアーティファクトの可能性が高いです。元の SVG ファイルでは正しい方向に回転しているように見えます。