長期作業環境の再考：レイアン・ガーク氏（Theta Software）

AI エージェントの「長期作業」は時間だけではない：ベンチマークの罠と真の自律性を見極める方法

AI エージェントが自律的に作業できる期間（タイムホライズン）が急速に伸びている中、業界では「16 時間かかるタスクをこなせるか」といった単純な時短基準で評価する風潮が強まっています。しかし、Theta Software の共同創業者レイアン・ガーク氏は、このアプローチには重大な欠陥があると指摘します。

「AI が人間とは全く異なる効率的な方法で解決する場合、人間の労働時間を基準にすると、その真の能力を見逃すリスクがある」

本記事では、長期作業の定義を再考し、なぜ既存のベンチマークが実社会での AI 自律性を正しく測れていないのか、そして何をもって「真に複雑なタスク」と判断すべきかを解説します。

「長期作業」は単なる時間の長さではない

まず、「長期作業（Long Horizon Tasks）」とは何かという定義そのものが、AI の進化に伴って変化しています。かつては「人間が数日かかるようなタスク」を指していましたが、現在はスカラー指標（相対的な尺度）として捉える必要があります。

現在の主要ベンチマークである「Human Horizon」アプローチでは、特定のタスクを人間が完了するまでの時間を基準にします。例えば、「16 時間かかるタスクを AI が 50% の成功率でこなせれば合格」といった閾値を設定しています。

しかし、この基準には重大な落とし穴があります。AI は人間とは異なるアプローチで問題を解決できるからです。

「金融アナリストが Excel ファイルの書式修正に数日かかるような退屈な作業でも、AI はスクリプトを組んで数分で終わらせることができます。これは AI にとって『簡単』ですが、人間の労働時間基準では『長期・高難易度』として分類されてしまいます。」

このように、人間が時間を要するタスクは、AI にとっては容易なケースがあり得ます。逆に、AI が膨大なトークン数やステップ数を消費していても、それが必ずしもタスクの複雑さを表しているわけではありません。

トークン数とステップ数の「ノイズ」問題

もう一つの評価基準として、「モデル固有の指標」、つまり消費されるトークン数や実行ステップ数が挙げられます。一見すると客観的な数字のように思えますが、これにも大きなノイズが含まれています。

• モデル依存性: 異なるモデル（例：GPT-5.5 と Claude）では、同じタスクでも消費するトークン数が大きく異なります。
• 環境の多様性: 使用するツールやハーン（評価枠組み）の違いが、結果に大きな影響を与えます。

「あるタスクで GPT モデルが 50 万トークンを消費したからといって、それが他のモデルでも同様の難易度であるとは限りません。変数を固定しないまま比較するのは困難です。」

ただし、トークン数やステップ数が全く無意味というわけではありません。コンテキストウィンドウの拡大や、長期にわたる一貫性を保つ能力（compaction）といった技術的なフロンティアを示す指標としては有用です。

重要なのは、「人間基準」と「モデル基準」の両方を組み合わせて見ることです。片方だけを切り取っても、AI の真の自律性やタスクの複雑さを正しく評価することはできません。

既存ベンチマークが捉えられない「実務の壁」

特に金融分野などの実務領域では、既存のベンチマークは範囲が狭く、飽和状態にあるという問題があります。多くのベンチマークは、人間が長時間かかるタスクに焦点を当てすぎており、AI の独自性が発揮されるケースや、人間の限界を超えるタスクを見落としています。

「主要な金融分野のベンチマークでは、タスクの範囲が狭く、人間の労働時間基準でも『長期作業』として分類されないケースが多いのが実情です。」

また、評価方法論自体にもばらつきがあります。誰が評価を行ったか（経験豊富な専門家か初心者か）によって、かかる時間の見積もりが大きく変わるため、異なるベンチマーク間の比較は極めて困難です。

真の能力を測るには「環境複雑性」と「曖昧さ」を見るべき

では、AI エージェントの真の能力をどう評価すべきでしょうか。ガーク氏は、以下の 3 つの要素に注目するよう提唱しています。

1. ツール連携と状態変化（State Changes）

タスクが単なる独立した作業の羅列ではなく、「前の意思決定が後の結果に影響を与える」構造になっているかが重要です。

• 並列複雑性: 複数のサブエージェントを同時に動かすなど、情報を並列処理する能力。これは比較的評価しやすいですが、真の自律性の証明には不十分です。
• 逐次複雑性: ダッシュボードやログの確認で初期段階で誤った判断をすると、その後のすべてのステップに悪影響が連鎖するケース。これが「長期作業」の本質的な難しさです。

「初期のクエリミスや読み間違いが、後続のステップに重大な結果をもたらすような、状態変化（State Changes）を伴うタスクこそが、真の複雑さを測る鍵となります。」

2. 曖昧さへの対応力（Ambiguity）

人間の仕事は、不完全な情報や曖昧な指示から始めて、自ら探索しながら答えを見つけ出すものです。AI エージェントも同様に、「与えられた情報が曖昧な状況下で、どのように探索し、情報を補完するか」を試す必要があります。

「人間が仕事をする際のように、初期段階で不完全な情報や曖昧な指示を与え、エージェントが自ら探索して解決する能力をテストすべきです。」

3. 検証プロセス（Verifier）の難しさ

実務的なタスクでは、正解が明確に決まっている「決定論的」な検証が不可能なケースが多々あります。そのため、モデル自身による評価や、報酬信号（Reward Signal）の設計が不可欠となります。

まとめ：スコア向上ではなく「信頼性」への転換を

AI エージェントの開発において、単なるベンチマークスコアの向上を追うだけでは不十分です。人間とは異なる経路でタスクを解決する AI の特性を理解し、環境の複雑性と曖昧さに対応できる真の自律性をどう確保するかという本質的な課題に向き合う必要があります。

特に金融やエンタープライズ領域では、既存の評価基準の見直しと、より高度な検証フレームワークの構築が急務となります。AI が社会で信頼されて活躍するためには、「時間」ではなく「複雑さ」と「適応力」を測る新しい視点が必要です。