Anthropic、Claude Fable 5.1 で科学ベンチマークを大幅改善と発表

記事の3ポイント

1. 1

   科学分野での性能突破

   Anthropic の発表によると、Claude Fable 5.1 は新ベンチマーク「Terminal-Bench-Science 0.1」で 52.6% のスコアを記録し、先行モデルや競合他社を上回っている。

2. 2

   推論レベルごとの検証

   著者の Simon Willison は Fable 5.1 が用意する低・中・高・超高・最大という 5 つの推論レベルを、ペリカンの画像生成タスクを通じて詳細にテストした。

3. 3

   推論コストとトークン数の謎

   推論レベル「low」で得られた出力では、推論トランスクリプトが記録されていないにもかかわらず、トークン数 1,998 と高いコストが発生する現象が確認された。