エージェントがトークンを浪費している - AWS エリック・ハンチェット氏

エージェントがトークンを浪費している？AWS 氏が教えるコスト削減の 5 つの実践戦略

生成 AI の普及に伴い、クラウド利用料金の急増が懸念されています。特に複雑な処理を行う「AI エージェント」を運用する際、無防備な設計はトークンコストを爆発させる原因となります。AWS シニア・デベロッパー・アドボケートのエリック・ハンチェット氏は、大規模環境でも即座に適用できる 5 つの具体的な最適化手法を提示しました。

1. プロンプトとツールの定義は「キャッシュ」で削減する

多くの開発者が陥りがちなのが、会話のたびにシステムプロンプトやツール定義をすべて再送信してしまうことです。これは明らかに非効率です。

「エージェントの初回呼び出しでは完全なシステムプロンプトを送信し、その後の呼び出しでは大幅に削減されたデータだけを送信する」

AWS の Strands Agents などのフレームワークでは、cache_prompt=default のような設定を適用するだけで、システムプロンプトやツール定義をキャッシュできます。これにより、2 回目以降の通信で送信されるデータ量が劇的に減り、トークン消費を抑えられます。

2. タスクの難易度に応じた「モデルルーティング」の実装

すべてのタスクに最新の高性能（かつ高価）なモデルを使うのは、コスト面でも技術的にも非効率です。タスクの複雑さに応じて、安価な軽量モデルと高価な最新モデルを使い分けるルーティングロジックを実装すべきです。

例えば、単純なクエリには「Claude Haiku」のような低コストモデルを割り当て、複雑な推論が必要な場合にのみ「Claude Sonnet」や最新のフロンティアモデルを使用します。条件分岐（if 文）や、別の軽量モデルに判断を委ねる仕組みを組み込むことで、コスト効率を最大化できます。

3. 膨大なツール結果は「オフロード＆要約」する

エージェントが外部ツールを実行した際、返ってくる結果が巨大な場合、それをコンテキスト（文脈）として毎回 LLM に送るのはトークン浪費の典型です。特にループ処理で同じツールを何度も呼ぶと、コストは雪だるま式に膨らみます。

解決策は、実行結果をローカルやクラウドストレージへ保存し、LLM にはその「要約」だけを渡すことです。大規模なデータ全体を送信するのではなく、必要な情報だけを抽出してコンテキストに埋め込むことで、トークン使用量を劇的に削減できます。

4. 無限ループを防ぐ「制限」と可観測性の活用

エージェントが同じツールを何十回も連続実行し、無限ループに陥るケースは珍しくありません。この場合、トークン消費量は制御不能な状態になります。

「必ずループの最大反復回数を設定してください」

デプロイ前に観測ツール（Observability tools）を用いて、ツールの呼び出し頻度や実行時間を分析し、非効率なパターンを特定・改善する必要があります。また、エージェント自体に「最大反復回数」の上限を設定することで、無限ループによるコスト暴走を防ぐことができます。

5. 会話履歴は「スライディングウィンドウ」で管理する

多対話（マルチターン）を行う場合、会話履歴が肥大化すると、各呼び出しごとに数百〜数千トークンを消費してしまいます。過去の全履歴を送信し続けるのは避けるべきです。

有効な手法は、直近のメッセージのみを保持する「スライディングウィンドウ」方式を採用することです。例えば、直近 10 メッセージのみをコンテキストに含め、それ以前の会話内容は要約として埋め込む形にします。これにより、履歴の肥大化を防ぎつつ、文脈の continuity（連続性）も保つことが可能です。

まとめ

トークンコストを削減するには、単にモデルを選ぶだけでなく、「キャッシュ」「ルーティング」「結果の要約」「ループ制限」「履歴管理」という 5 つの技術的アプローチを体系的に実装する必要があります。これらの最適化は、生成 AI アプリケーションのスケーラビリティと収益性を決定づける重要な要素です。