Claude でサイバー調査官を構築した方法
Outtake は Claude の高度な推論能力を活用し、サイバー調査官として機能する自律型システムを構築し、セキュリティ分析の自動化における新たな可能性を示した。
キーポイント
Claude を活用した自律型調査システムの構築
Outtake は Claude の推論能力を基盤とし、人間が手動で行うサイバー調査プロセスを自動化するシステムを開発した。
高度な推論と文脈理解の活用
複雑なセキュリティログや脅威インテリジェンスデータを分析し、単なるキーワードマッチングを超えた文脈的な洞察を引き出すことに成功している。
セキュリティ分野への実用化
このアプローチは、サイバー攻撃の検知やインシデント対応における人的リソースの不足を補う実用的なソリューションとして機能する。
重要な引用
Claude を活用し、サイバー調査官の役割を果たすシステムを構築した手法について紹介している。
影響分析・編集コメントを表示
影響分析
この記事は、大規模言語モデル（LLM）が単なる情報生成ツールを超え、専門的なセキュリティ分析タスクを自律的に遂行できることを示す重要な事例である。Outtake の取り組みは、サイバーセキュリティ分野における AI 実装の現実的な適用例となり、業界全体で「AI による調査自動化」への関心を高める契機となるだろう。
編集コメント
Claude の推論能力をセキュリティ調査という専門領域に適用した事例は、LLM の実用範囲がさらに広がっていることを示唆しています。Outtake のような実践的なアプローチは、AI が単なる実験段階から現場の業務効率化ツールへと進化している過程を如実に表しています。
クロードを使って複雑な長期実行型エージェントを構築した「Outtake」の事例
Outtake は、Recon Agent をおおよそ 4 つの段階を経て構築しました。各段階ではまず「優れた調査とは何か」を理解し、その判断基準を徐々にエージェントに委譲していくプロセスでした。
ステップ 1: まず専門家の視点を持つこと
エージェントの構築に着手する前に、Outtake のエンジニアたちは実際にサイバー調査を自ら行い、顧客や設計パートナーからドメイン固有の知見を引き出しました。
ここで目指したのは、「良い調査」の基準を明確にすることです。この種の調査においては、どの証拠が重要なのか、どのように整理すべきか、そして単なる推測と実行可能な結論をどう区別するかが問われます。この基準は、その後のすべての段階において参照される固定された指針となりました。
「長期実行型エージェントを構築する上で最も重要なのは、『良い状態とは何か』、『エージェントは何を行うべきなのか』を本当に理解することです」と、Outtake のエージェントプラットフォームを担当するエンジニアリードの Jack Hayford 氏は語ります。「なぜなら、最終的にはエージェントが毎回確実にそのタスクを遂行できることを保証しなければならないからです。」
ステップ 2: Claude Code でプロトタイプを作成
当初、Outtake チームは従来のエージェントフレームワークを用いて、標準化された調査プロセスの自動化を進めました。
しかし、彼らはすぐに、Recon Agent は単なる調査ツールでは不十分だと気づきました。コードの記述・実行、その場でのツールの構築、そして悪意のあるドメインとの実際の対応が可能でなければなりません。
「すべての調査は異なり、非常に技術的なものです」とハイフォード氏は語ります。「エージェントにはコーディング能力が必要でした。そこで Claude Code を初期の基盤として採用し、これらの仮説を実証しながら、より多くの実験を開始しました。」**
Claude Code でプロトタイプを作成する過程で、彼らは中核となる設計原則を確立しました。オーケストレーションレベルではエージェントを厳しく制約する（「ドメイン調査時には常に X、Y、Z を実行する」など）一方、判断が必要な場面では自由に臨機応変に対応できるようにすることです。
ステップ 3：本番環境向けのハネスへ移行
「Claude Code が導入したパターンは非常に気に入っていましたが、さらに低レベルなプリミティブへのアクセスが必要でした。これらは自社で構築しようとするものではありませんでした」とハイフォード氏は述べています。
Recon Agent を本番環境向けに引き上げるには、Claude Agent SDK の利用が自然な次のステップでした。Claude Code からスキルやパターンを引き継ぐことで、エージェントループの再構築やセッション処理といった既存の仕組みを踏襲しつつ、Recon Agent のメモリ、コンテキスト、ファイルシステムに対する制御を強化できます。これにより、開発速度を落とすことなく、より堅牢な環境へ移行することが可能になりました。
ステップ4：評価（evals）に駆動された、密接なイテレーションループを構築する
サイバーセキュリティの分野では、攻撃者が防御ツールの存在を知るや否や即座に適応するため、低コストかつ迅速に反復できる能力が特に重要です。チームは開発初期からエージェントの評価（agent evals）を取り入れ、多数のシナリオを同時に実行できる強力な評価スイートを実現しました。これにより、モデルのアップグレードやメモリシステムの完全なリファクタリングといった大規模な変更も、安全かつ自信を持って行うことが可能になりました。
また、この仕組みによってチームは「エージェントのループ」から自らを解放することもできました。例えば、偵察エージェントが調査を終えて報告する際、「もしあのツールがあればもっと良くできた」というフィードバックがあったとします。その際、別のコーディングエージェントがその提案を読み取り、新しいツールを作成し、試すためのテストシナリオを構築します。
人間が結果を確認するのは、最終段階だけです。「エージェントはそのツールを使って調査をよりよく行えたのか、それともそうでなかったのか」。ハイフォードはこう述べています。「私たちがボトルネックになっていて、こうした長く複雑なエージェントを構築する際、フィードバックループの自動化がいかに重要か。開発者にとって、それは圧倒的に速く、また何よりもやりがいのある作業になります」
長期稼働型エージェント構築からの教訓
エージェント黎明期には、暴走を防ぐために、ビルダーは事前スクリプト化されたハードコードされた決定論的なステップバイステップの経路でエージェントの動作を制御していました。現在では、こうした複雑なワークフローは、メモリ・ツール・スキル・ガードレールからなる支援環境である「ハネス（harness）」へと置き換えられつつあります。
Outtake チームが Recon Agents の構築に取り組んだ経験から得られた教訓をいくつか紹介します。
ツール：ファイルシステムと Bash で十分
ファイルシステムは、コンパクション（圧縮）後も記憶を保持できる手段です。エージェントには通常、非常に具体的で微妙なニュアンスを持つツールが与えられますが、ファイルシステムに加え、コードの読み書きや実行能力を持たせることで、障害が発生した際のエージェントの対応力が格段に向上します。
「極めて強力なオープンエンドのツールと機能をエージェントに任せることは、飛躍的なステップです」とハヤフォードは語ります。「ネットワークの一時的な不具合などでツールの動作が失敗した場合でも、エージェント自身が適切な回避策を見つけ、処理を継続する事例を数多く確認しました。私たちが構築した基盤が堅牢だったこと、そしてこれらの強力なオープンエンドのツールによってエージェントに臨機応変な対応の余地を残していたことが功を奏し、最終的に成功へと導くことができました。」
プロンプトは「提案」に過ぎない
プロンプトは必要に応じて柔軟性を提供しますが、可能であればハードコードすることで安定性を確保すべきです。「時間とともに複雑化していく長時間稼働型のエージェントを構築する際、プロンプトはあくまで『提案』に過ぎません」とハヤフォードは指摘します。「エージェントが意図した通りに動作しなかった場合、自然な対応として最も変更しやすい部分であるプロンプトを追加・修正しがちです。システムプロンプトに『X が発生したら Y を行うようにする』といった指示を挿入しても、最初は機能するかもしれません。しかし、エージェントの稼働時間が長くなるにつれ、そのプロンプト内の単語は最終的にすべて無視される可能性が高いのです。」
正解は、エージェントが常に実行すべき行動を特定し、それをガードレールに組み込むことで、その可能性を中心に構築することです。"プロンプトからこれらを取り出し、ハネス（枠組み）に配置するのです」と彼は言います。「そうすれば、エージェントはもうそれについて考える必要がなくなり、より多くのコンテキストスペースと注意を、実際に成果を出せる領域に集中できるようになります。」
Claude の方向付けに関するベストプラクティスや、各手法のコンテキストコストと権限については、こちらで詳しく解説しています。
評価は信頼性だけでなく、速度のためにもある
手動での「振り返り」を道しるべとして使い、開発サイクルを短縮する自動評価へとつなげましょう。一般的に評価は信頼性を担保するための品質ゲートだと考えられています。しかし、長時間稼働するエージェントにおいては、より大きなメリットとなるのは速度です。
初期段階では、Recon エージェントが実行されるたびにチームが手動でそのパフォーマンスを検証していました。しかし、30 分間にわたる全行動のトランスクリプトを読み込むのは過酷であり、スケーラブルではありません。
"現代のエージェント開発において、出力の評価はループ内で最もコストのかかる工程です」と Jack は指摘します。
評価とは、その振り返りを構造化し、採点可能で自動化可能な形にしたものです。何が「良い状態」かを反復可能なチェックとして定義すれば、エージェントを審査役の席に座らせて、30 分のトランスクリプトを読み込み、実行結果をスコアリングさせることができます。
「評価（evals）を構築することに対して、一部のエンジニアは不安を感じているようです。それは完璧なケースを作るようなものだと捉えられがちだからです」とジャック氏は語ります。「最初から何らかの形で評価を構築しておけば、それが公式のものか『完璧』なものかに関わらず、エージェントの構築スピードを上げることができます。」
エージェントを守る
プロンプトインジェクションは現実的な脅威です。そのため、エージェントをサンドボックスに隔離するか、防御機能を付与することが不可欠です。Outtake チームが Claude を選んだ理由の一つも、このプロンプトインジェクションに対する強さでした。
「 Recon Agent（偵察エージェント）を構築する上で、セキュリティは最も重要な要素の一つです」とハイフォード氏は話します。「私たちはファイルシステムや Bash へのアクセス権を与え、敵対的な環境に送り出しています。そこで解決すべき最優先課題は、エージェントが機密内部情報から隠れることができるような『爆発域（ブラストボックス）』を構築することでした。ただし、その過程でエージェントの機能を阻害してはいけません。」
彼らのアプローチでは、エージェントが乗っ取られる可能性も想定しています。そのため、周囲のシステムは被害を封じ込めるように設計されています。しかし、セキュリティ対策はエージェントの目的によって異なり、すべてのエージェントが「爆発域」に対応できるわけではありません。
Outtake は、エージェントがインターネットにアクセスする瞬間の信頼性を評価する仕組みを実装しました。これは、エージェントが触れようとするあらゆる対象を検査するチェックポイントであり、「このページはなりすましではないか？マルウェアではないか？今まさにプロンプトインジェクションを試みていないか？」といった問いを投げかけます。こうした防御策こそが、敵対的な環境が増えるインターネットを横断するエージェントにとって必要となる装甲なのかもしれません。
Outtake チームのベストプラクティス
「良い状態」がどのようなものか、ご存知ですか？
まず自分自身がエージェントになってください。実際のタスクを自分で実行し、顧客や設計パートナーからドメイン知識を引き出しましょう。そうすれば、後続のすべての反復作業に対して評価できる明確な基準が得られます。
各要素の複雑さは正当化されていますか？
最もシンプルな動作するバージョンを見つけ、それを一つずつ自動化してください。結果がそれを裏付ける場合にのみ、複雑さを追加します。これは従来のソフトウェア開発と同じ規律です。
ハネス（検証環境）はワークロードに適合していますか？
Claude Code で仮説を素早く検証し、メモリやコンテキスト、セッションに対する低レベルな制御が必要になった時点で Agent SDK へと移行しましょう。エージェントループをゼロから作り直す必要はありません。
エージェントはどこで制約を受けるべきでしょうか？
オーケストレーション層にはハードコードされたガードレールを設定しますが、その制約が低レベルの判断にまで及ぶことは避けてください。最も良い結果を生むのは、即興的な余地がある空間です。
次のステップ
Recon Agent は現在、運用を開始し調査を行っています。Outtake が Claude を活用して大規模な敵対インフラをマッピングする方法についてさらに深く知りたい場合は、以下のリンクをご覧ください。
- Outtake がどのようにして Claude を用いて脅威インフラの自主的な調査と大規模なマッピングを行っているかについて、ライブデモと詳細な議論を含むウェビナー全体をご覧ください。
- Recon Agent の実際の動作を確認してください。エージェントが単一のなりすましから完全な脅威アクターのプロファイルへと移行する様子を探ってみましょう。
- 自身のエクスポージャー（暴露リスク）に何が浮かび上がるかを知るために、Recon Agent の無料評価を受け取ってください。
原文を表示
How Outtake built a complex long-running agent with Claude
Outtake built the Recon Agent in roughly four stages. Each stage was about understanding what a good investigation looked like, then progressively handing that judgment to the agent.
Step 1: Become the expert first.
Before building any part of the agent, Outtake's engineers ran real cyber investigations themselves and pulled domain expertise from customers and design partners.
The goal was to define what "good" looks like. For these types of investigations, that meant identifying what evidence matters, how to organize it, and what separated an actionable conclusion from a guess. That standard became the fixed reference point they returned to at every later stage.
“The most important thing about building long running agents is that you really have to understand *what does good look like?* *What is the agent supposed to be doing?*” said Jack Hayford, engineering lead for Outtake's agent platform. “Because ultimately you're ensuring that the agent can do that every single time.”
Step 2: Prototype in Claude Code
Initially, the Outtake team used traditional agent frameworks to progressively automate the investigations they were standardizing.
They quickly realized, however, that the Recon Agent couldn't just be a simple investigator. It needed to write, run code, build tools on the fly, and actually interact with malicious domains.
“Every investigation is different, and deeply technical,” Hayford said. “The agent needed coding muscle and capability, and Claude Code was a strong initial harness for us to actually validate those assumptions and start experimenting more and more.” **
It was by prototyping in Claude Code that they forged their core design principle: constrain the agent tightly at the orchestration level (*‘always do X, Y, Z when investigating a domain’*), but leave it free to improvise whenever judgement was required.
Step 3: Graduate to a production-grade harness
“We really liked the patterns that Claude Code had introduced, but we needed additional access to the lower level primitives, which we weren't trying to build ourselves,” Hayford said.
Using the Claude Agent SDK was a natural next step for taking the Recon Agent into production. Carrying over skills and patterns from Claude Code ensured that the team didn't drop any velocity while they gained tighter control over the Recon Agent’s memory, context, and file system without reinventing the wheel in terms of the agent loop and handling sessions.
Step 4: Build a tight iteration loop driven by evals.
The ability to iterate inexpensively and responsively is particularly crucial in cybersecurity, where attackers adapt the moment they learn a defensive tool exists. The team integrated agent evals from the very beginning, and arrived at a strong eval suite that runs many scenarios at once. This let them make sweeping changes, like model upgrades and full memory-system refactors, safely and with confidence.
It also let the team pull themselves out of the agentic loop. When, for example, the Recon Agent finishes an investigation and reports back that it could have done better with some tool it didn't have, a separate coding agent then reads those suggestions, writes the new tool, and builds a test scenario to try it out.
Only at the very end does a human step in to look at the result: did the agent do the investigation better with that tool, or not? “We are the bottleneck, and when you build these long, complex agents, it's very important that the feedback loop be automated. It's a lot faster and it's also a lot more satisfying as a developer,” said Hayford.
Learnings from building a long-running agent
In the early days of agents, builders scripted agent behavior in advance with hardcoded, deterministic, step-by-step paths to keep it from going off the rails. Now, elaborate workflows are being replaced by a harness: a supportive environment of memory, tools, skills, and guardrails.
Here are some takeaways from the Outtake team’s experience in implementing the Recon Agents build.
Tools: a filesystem and bash is all you need
Filesystem enables memory that survives compaction. Agents are typically given very specific and nuanced tools, but giving an agent a filesystem along with the ability to write, read, and run code helps the agent respond to obstacles.
“Handing those extremely powerful open-ended tools and capabilities to an agent is a huge step change. We’ve observed plenty of cases where an agent had a tool that was failing due to a network hiccup or whatever, and it would just find the right workaround and continue,” said Hayford. “Because the rest of the harness that we had built was strong enough, and because it left the agent with opportunity for improvisation with these powerful, open-ended tools, it was still able to get to a successful outcome.”
Prompts are suggestions
Prompts provide flexibility when needed, but hardcoding where possible ensures stability. “When you're building these long-running agents that get complicated over time, prompts are suggestions,” Hayford said. “When an agent didn't do what you wanted, the natural response is to add to the most plastic part of the agent. Slipping ‘when X happens, make sure you do Y’ into the system prompt may work initially, but as this agent runs longer, every single word in that prompt will probably be ignored eventually.”
The correct approach is to build around that likelihood by identifying what the agent should always do every time and making it part of the agent guardrails. “Pull these things out of the prompt and put them into the harness,” he said. “Now the agent doesn't have to think about it anymore and it has more context space and attention to put towards areas where it can really thrive.”
*Read more on *best practices for directing Claude*, and the context cost and authority of each method. *
Evals are for speed, not just reliability
Use manual “reflections” as a roadmap to automated evals that tighten dev cycles. **The conventional view is that evals are a quality gate for reliability. For long-running agents, though, the bigger payoff is speed.
Early on, every time the Recon Agent ran, the team did a manual review of its performance. But reading an agent’s 30-minute transcript of everything it did is brutal and doesn't scale.
“In modern agent development, evaluating the output is the most expensive step in the loop,” Jack said.
An eval is just a structured, graded, automatable version of that reflection. Once you've codified what good looks like into a repeatable check, you can put an agent in the judge's seat to read the 30-minute transcript and score the run.
“I think that some engineers feel apprehensive about building evals because it's like this idea of building a perfect case,” Jack said. “Building some version of evals from the very beginning will make you build that agent faster regardless of how official or ‘perfect' they are.”
Protecting your agents
Prompt injection is a real threat, so putting your agent in a sandbox or giving it armor is essential. The Outtake team chose Claude in part because of its strength against prompt injection.
“Security is a big note for us for building the Recon Agent,” Hayford said. “We gave it a file system and bash and we're sending it to adversarial environments, so the most important problem we had to solve was building a sort of blastbox where you could try to hide your agent from sensitive internals without actually hindering it.”
Their approach assumes the agent might get hijacked, so the surrounding system is engineered to contain the damage. Security looks different from agent to agent, however, depending on their purpose, and not all agents are blastbox candidates.
Outtake is now scoring the level of trust at the exact point where the agent reaches out to the internet, implementing a checkpoint that evaluates whatever the agent is about to touch: ‘Is this page an impersonation? Is it malware? Is it trying to prompt-inject the agent right now?’ This may be exactly the armor that agents need as they traverse an increasingly adversarial internet.
What's next
Recon Agent is live and running investigations today. If you want to go deeper on how Outtake uses Claude to map adversarial infrastructure at scale:
- View the full webinar for a live demo and deeper discussion of how Outtake uses Claude to autonomously investigate and map threat infrastructure at scale.
- See Recon Agent in action. Explore how the agent moves from a single impersonation to a full threat actor profile.
- Get a free Recon Agent assessment to see what an investigation surfaces on your own exposure.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み