最前線で働く：Cognition が Claude Fable 5 を信頼して夜間作業を遂行する理由
AI 企業 Cognition は、Claude Fable 5 モデルの夜間における継続的な作業能力を評価し、安定した処理が可能であると判断したと発表した。
キーポイント
モデルの夜間運用評価
Cognition が Claude Fable 5 の性能を検証し、長時間にわたる継続的な作業でも品質が低下しないことを確認した。
安定性の実証
夜間という非対面・疲労しやすい時間帯においても、モデルの出力が一貫して安定していることが示された。
実用化への道筋
24 時間稼働が可能な信頼性の高い AI エージェントとしての利用価値を裏付ける重要な知見となった。
影響分析・編集コメントを表示
影響分析
この記事は、特定の AI モデルが長時間稼働しても性能が劣化しないという重要な実証結果を示しており、AI エージェントの 24 時間自動化システムの実現に向けた信頼性を高めます。特に夜間運用における安定性は、コスト削減や効率化を目指す企業にとって決定的な要素となるため、業界内の導入判断に影響を与える可能性があります。
編集コメント
「夜間も安定」という点は、AI エージェントの実運用において最も懸念される点の一つであり、Cognition の評価は実用化への大きな一歩と言えます。ただし、これは特定のモデルに関する評価であるため、他社製品や他のタスクにおける汎用性についてはさらなる検証が必要です。
Cognition は、シリコンバレーの基準からみてもまだ若いです。同社は 2024 年初頭、エージェントの基本的な仕組みが barely 機能していた時期に、自律型 AI ソフトウェアエンジニアである Devin を構築しました。
Devin が引き受けるのは、エンジニアたちが決して手が回さない仕事です。コードベースの移行、溜まりに溜まったバグの解消、そして次々と先送りされる新機能などです。顧客は急成長中のスタートアップからフォーチュン 500 企業まで多岐にわたり、基準は非常に高いです。Devin が作成したコードは信頼性があり、本番環境で即座に使用できるものでなければなりません。静かに導入された小さなバグが、後工程で重大な問題を引き起こす可能性があります。
Alberti のチームは Devin の背後にあるモデルの訓練とテストを担当し、開始以来ほぼすべての Claude 世代を実行してきました。彼は最初の決定的な飛躍を、2024 年後半の Claude 3.6 Sonnet に遡ります。これは、ツールを確実に連鎖させ、多段階のタスクを保持できる初のモデルでした。チームがこれを Devin に組み込んだ際、内部での使用量は 3 倍に増えました。
その歴史こそが、彼を驚かせることを難しくしています。Cognition は、モデルがベンチマークで高得点を記録した直後に、エンジニアたちが実際に使用しようとした瞬間に崩壊する様子を目の当たりにしてきました。「私たちは何度もこのように痛い目を見ています」と Alberti は語ります。そのため、チームはあらゆるスコアよりも自社のエンジニアを信頼しています。最も審美眼の高い開発者たちは、新しいモデルを実際の一日の仕事を通じて厳しくテストし、基準となるのは「そのコードを自分たちが実際に採用するか」です。
Alberti の言葉通り、「私たちは評価（eval）を一切信用しないのです」。
以前のモデルが限界に達した地点
これらの進歩にもかかわらず、一つの天井は残っていました：エージェントが糸のつながりを失う前に、どれほど長く稼働できるかという点です。
"Fable の登場以前は、タスクに集中できるエージェントを数分間、あるいは長くても 1 時間程度しか委ねられませんでした」とアルベルティ氏は語ります。それを超えるとセッションは迷走し始めます。以前のモデルに一度に検討すべきアイデアを 5 つ与えれば、それは行方を見失い混乱してしまいます。あるデータベース移行プロジェクトでは、以前の Opus モデルは技術的にはタスクを完了しましたが、その過程で一連の微妙なバグを導入してしまいました。
インシデントのトリアージ（優先度付け）でも同様の傾向が見られました。以前のモデルはログの表面に留まり、関連する行を探ろうとせず、また何があっても回答を与えるように訓練されていたため、「最初に発見した妥当そうなものを自信満々に主張し、そこで止まってしまう」のです。エンジニアたちはそれらを無視するように学習しました。
Cognition は、Frontier Code（ Frontier コード）を含む一連のベンチマークを用いて、フロンティアモデルを評価しています。
Claude Fable 5 が Cognition の独自の基準をクリア
Cognition は、既存のベンチマークがテストに合格するコードは称賛するものの、実際のコードベースでは生き残れないという傾向があったため、Frontier Code（ Frontier コード）と呼ばれる独自ベンチマークを開発し、モデルを評価しています。アルベルティ氏はこれを「アンチ・スロップ（安っぽいコード排除）」基準と呼んでいます。最も困難なサブセットにおいて、以前の Opus モデルは約 10% のスコアでしたが、Claude Fable 5 は約 30% を記録しました。
チームの最初の反応は疑念でした。「バグがあるのか？これはありえない」と。通常、ベンチマークの数値が跳ね上がる際には、エンジニアたちが数週間にわたって「実際にモデルが改善されているのか」を巡って議論するものです。しかし今回は、社内での実証実験（dogfooding）がその数値と一致しました。「正直に言って、それはある種の衝撃でした」とアルベルティは語ります。
「私たちが最も注目したのは、ホライズン、つまり自律的に作業を継続できる時間の長さです」と彼は言います。「就寝しようかと思ったようなタスクでも、『このまま続けてくれ、私が起きるまで決して止まるな』と心の中で願うことがありました。そして目が覚めると、8 時間連続で稼働し、実際に実りある進捗を遂げていたのです。以前には見たことのない光景でした」
ホライズンが維持されたのは、Claude Fable 5 が複雑なコンテキスト（文脈）の中でも冷静さを保ち続けたからです。これは、ブラウザ内のログを閲覧し、ノイズの多い状況でも結論を導き出すために Cognition の内部デバッグツールを適切に活用した初のモデルでした。以前は他のモデルが躓いた移行作業においては、自身が遵守する不変条件（インバリアント）を明確に示し、それに基づいて実行しました。また、優先順位付け（トライアージ）においては、根本原因を特定するとともに「自分が知らないこと」も率直に表明しました。アルベルティによれば、これが信頼を再構築する上で実際に必要な要素なのです。
彼はこの飛躍を、真のステップ変化（step change）の中でも極めて稀なクラスに位置づけました。それはおよそ年に一度しか訪れないような劇的な進化です。
サイラスとそのチームは、Claude などのモデルを駆使して Devin を構築しており、より複雑で長時間実行されるワークロードの処理に取り組んでいます。
次のステップ
Cognition の創業時の賭けは、エージェントがクラウド上で数時間にわたって動作するべきだというものでした。しかし、同社の最初の 1 年間はそのためのモデルはまだ整っていなかったのです。
Alberti 氏は、Claude Fable 5 がその賭けの完全な実現を可能にし、一部はすでに製品に組み込まれていると述べています。Devin は Slack チャンネルを監視し、タグ付けされなくても問題に即座に対応したり、生産環境をモニタリングして独自にスパイク（急増）をトリアージしたりできます。それがうまくいったとき、彼は「まるでチームの一人である本物のエンジニアのようだ」と感じると言います。
彼はこの機能がエンジニアリングチームのデフォルトになると予想しています。1〜2 年後には、エージェントセッションの 90% が、問題を発見し、コードベースをスキャンして修正内容をメッセージとして通知する能動的なものになるでしょう。
「当社がこれまでずっと実現したかった多くのことが、今では可能になりました」と Alberti 氏は述べています。
Claude Fable 5 の利用を開始するにはこちらをご覧ください。
原文を表示
Cognition is young, even by Silicon Valley standards. It built Devin, its autonomous AI software engineer, in early 2024, at a time when the basic mechanics of an agent barely held together.
Devin takes on the work engineers never quite get to: codebase migrations, the backlog of bugs, the features that keep slipping. With customers ranging from high-growth startups to Fortune 500 companies, the bar is high. Code written by Devin has to be reliable and production-ready; a small bug introduced quietly can cause real problems downstream.
Alberti’s team trains and tests the models behind Devin and has run nearly every Claude generation since the start. He traces the first real jump to Claude 3.6 Sonnet in late 2024. It was the first model that could reliably chain tools and hold a multi-step task. When the team plugged it into Devin, internal usage tripled.
That history is what makes him hard to impress. Cognition has watched models ace a benchmark and then fall apart the moment its engineers tried to use them. "We've been burned like this a bunch of times," Alberti says. So the team trusts its own engineers over any score. Its highest-taste developers put each new model through a real day of work, and the bar is whether the code is something they’d actually keep.
As Alberti puts it, "we trust no eval."
Where earlier models hit their limit
For all that progress, one ceiling remained: how long an agent could run before it lost the thread?
"Before Fable, you could delegate agents that could stay on-task for a couple of minutes, maybe an hour," Alberti says. After that, sessions drifted. Give an earlier model five ideas to weigh at once, and it would lose track and get confused. On one database migration, a prior Opus model technically finished the job but introduced a series of subtle bugs along the way.
Incident triage showed the same shape. Earlier models tended to stay at the surface of the logs instead of digging for the relevant line, and they were trained to give an answer no matter what—so they'd "confidently claim the first plausible thing they discover and then stop." Engineers learned to tune them out.
Claude Fable 5 clears Cognition's own bar
Cognition grades models on Frontier Code, a benchmark it built because existing ones kept rewarding code that passed tests but wouldn't survive a real codebase. Alberti calls it an "anti-slop" standard. On its hardest subset, the prior Opus model scored around 10%. Claude Fable 5 scored about 30%.
The team's first reaction was suspicion. "Is there a bug? This can't be true." Usually a benchmark jump comes with engineers arguing for weeks over whether the model is actually better in practice. This time the dogfooding agreed with the numbers. "It was kind of a shocker, honestly," Alberti says.
"The biggest thing we noticed was the horizon, how long it can be self-sufficient," he says. "There have been tasks where I was about to go to bed and I was like, 'Okay, just please keep working on this and don't stop until I wake up.' And then I wake up, and it's been working for eight hours straight and actually making real progress. I hadn't seen that before."
The horizon held because Claude Fable 5 stayed clear-headed in messy context. It was the first model to properly use Cognition's internal debugging tools, paging through logs in the browser and drawing conclusions despite the noise. On a migration that had tripped up earlier models, it stated the invariants it would hold itself to, then executed against them. On triage, it pinned down the root cause and said what it didn't know, which Alberti says is what actually rebuilds trust.
He puts the jump in a small class of true step changes, the kind that come roughly once a year.
What’s next
Cognition's founding bet was that agents should run in the cloud for hours at a time. For the company's first year, the models weren't there yet.
Alberti says Claude Fable 5 makes the full version of that bet viable, and some of it is already in the product. Devin can watch a Slack channel and jump into an issue without being tagged, or monitor production and triage a spike on its own. When it gets one of those right, he says, it feels "like a real engineer on the team."
He expects this to become the default for engineering teams. In a year or two, he says, 90% of agent sessions will be proactive ones that find a problem, scan the codebase, and message you with the fix.
"A lot of these things we've always wanted to build at the company are now possible," Alberti says.
Get started with Claude Fable 5.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み