AI エージェント時代における CPU の重要性再評価
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
The New Stack AI
The New Stack は Google と Arm の担当者を取材し、AI エージェント時代において CPU がオーケストレーションや軽量モデル実行の要として重要性を増している実態を明らかにした。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月12日 05:56
AI深層分析
キーポイント
CPU の役割変化：チャットからエージェントへ
対話型チャットボットの時代は GPU が主役だったが、自律的なアクションを行うエージェントでは、分岐する制御フローを処理する CPU が「航空管制官」としての役割を果たす。
軽量モデルの実行可能性
60 億〜80 億パラメータ規模の小型モデルは CPU でも約 25 トークン/秒のパフォーマンスを発揮し、要約や評価などのエージェントワークロードに十分活用可能である。
コード実行のためのサンドボックス環境
LLM が生成したコードを実行する際、生産システムへの被害を防ぐため gVisor によるゼロトラスト環境と隔離技術が不可欠であり、Google はクラスターあたり秒間 300 のサンドボックス起動を可能にする。
スケーラビリティと効率性の向上
GKE Agent Sandbox はクラスターあたり秒間300のサンドボックスを起動可能で、ポッドのスナップショットやサスペンド環境のウォームプールを活用して迅速なスケールを実現する。
Axion プロセッサによるコストとエネルギー効率
Axion は比較対象となる現行世代の仮想マシンに対して最大2倍の価格性能比と60%以上のエネルギー効率向上を提供し、用途に応じてC4AやN4Aから選択できる。
重要な引用
The role, more or less, is of a CPU as an air traffic controller.
Today's six- to eight-billion-parameter models are performing much better than they have in the past.
We operate in a zero-trust environment. This is exactly why you need the isolation technologies that agents run in.
"Axion today will give you up to 2x the price performance of comparable current-generation virtual machines," Farhat says, "and we'll do that at over 60% better energy efficiency as well."
編集コメントを表示
編集コメント
AI エージェントの普及に伴い、GPU 一辺倒だったインフラ議論に CPU の重要性が再認識される重要な転換点である。特にセキュリティとスケーラビリティを両立させるための gViso 活用事例は、実務レベルでの参考となる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
AI インフラについて語られるとき、話題は必ずといっていいほど GPU や TPU に集中しがちです。しかし『The New Stack』が Arm の Bhumik Patel 氏と Google の Mo Farhat 氏に話を聞いたところ、最近ではあまり見かけなくなったチップ、つまり CPU の重要性が再浮上していることが明らかになりました。チャットボットの時代から AI エージェントの時代へと移行する中で、CPU の役割はむしろ高まっているのです。
Google Compute Engine で Axion や Arm ベースの仮想マシンの製品管理を統括する Farhat 氏は、「CPU の役割は、いわば航空管制官のようなもの」と説明します。
今回の対談では、会話型チャットボットから自律型エージェントへの移行が、どのようにして静かに「CPU の話」へと変化しているのかについて掘り下げています。
ワークロードの変化：回答から行動へ
初期のチャットボットは単に回答を返すだけでしたが、エージェントはそれに基づいて実際に行動を起こします。ツールを呼び出してタスクを実行し、必要に応じてコードを実行するための環境を自ら構築するのです。
「エージェンティックなワークロードにおけるオーケストレーションハーン（制御枠組み）自体が、常に稼働し続ける分岐型の制御フローロジックです。これこそが CPU が最も得意とする領域です」と Farhat 氏は語ります。
大規模言語モデルは通常、アクセラレータ上で動作しますが、CPU もオーケストレーション、データ準備、セマンティック検索、ベクトルデータベースの処理など、多岐にわたる役割を担っています。
クラウドと AI 向けのソフトウェアエコシステムを率いるパテル氏は、大規模なワークロードを実行するために必要なソフトウェアおよびインフラストラクチャ層に注力していると語っています。彼によれば、異なる種類のエージェントは「それぞれ異なるタイプのコード実行や API 呼び出し、そして典型的な CPU 処理」を行っています。
モデルを実行する役割ももちろんありますが、ここでは要約機能を持つものやレコメンダー、評価ツールなど、非常に小さなモデルを指しています。
「現在の 60 億〜80 億パラメータのモデルは、過去よりもはるかに性能が向上しています」とファルハト氏は述べています。特定の専門的なワークロードにおいては、CPU で秒間約 25 トークンを生成できるため、エージェント向けの負荷には十分対応できると言います。
エージェントにサンドボックスが必要とされる理由
エージェントがコードを実行するためには、本番システムを危険にさらすことなく安全に実行できる環境が必要です。
「エージェントはコードを実行するものですから、LLM が生成したコードを信頼できるかどうかを確認する必要があります」とパテル氏は説明します。「もし信頼できない場合は、その環境をサンドボックス化します」
Google が提案するのは gVisor です。これはアプリケーションとホスト OS の間に隔離層として機能するオープンソースプロジェクトです。
ファルハト氏は「私たちはゼロトラスト環境で運用しています。まさにそのためにも、エージェントが動作するための隔離技術が必要なのです」と述べています。
GKE Agent Sandbox なら、AI エージェント時代に必要なスケーラビリティも対応可能だと Google は主張しています。
「GKE Agent Sandbox を使えば、1 クラスターあたり毎秒 300 のサンドボックスを起動できます」とファルハット氏は語ります。パテル氏によると、このプラットフォームではポッドのスナップショットと、一時停止した環境のウォームプールを活用することで、すべての環境を完全にプロビジョニングしなくても、顧客がより迅速にスケールできる仕組みになっています。
効率性の訴求点について Google は、Axion がコスト面とエネルギー消費面の両方で優位性を持つと説明しています。
「今日の Axion は、同等の最新世代仮想マシンと比較して最大 2 倍のパフォーマンス対価格比を提供します。さらに、エネルギー効率は 60% 以上向上します」とファルハット氏は述べています。
Google では、一貫した高パフォーマンスが必要な場合に Axion C4A マシンを、パフォーマンスとコスト最適化のバランスが求められるワークロードには N4A マシンを提供しています。完了時間が重要な計算集約型の長期エンジニアリングジョブであれば、C4A が必要な性能を発揮します。一方、密度やコストがより重要となる小規模なコード実行タスクには、N4A を推奨します。
「Google Cloud の良い点は、先ほどモ氏が触れた通り、高パフォーマンスワークロード向けに C4A を用意し、それとは別に N4A も用意していることです」とパテル氏は話しています。「多数のエージェントをスケールさせたい場合、異なる種類のエージェントがそれぞれ異なるコード実行や API 呼び出し、一般的な CPU 処理を行っています。そのようなケースには N4A が非常に適しています」。
ファルハット氏のより広い視点では、エージェントのスケールに伴い、CPU、GPU、TPU のリソースは引き続き連携して機能し続けると述べています。
「現在は計算リソースの選択肢が流動的な時代です」と彼は語ります。「顧客には、CPU 中心、TPU、GPU ベースなどあらゆるオプションを検討し、将来のスケーラビリティを考慮したアプリケーションを構築することを推奨しています。」
原文を表示
When the conversation turns to AI infrastructure, it almost always lands on GPUs and TPUs. The New Stack sat down with Bhumik Patel of Arm and Mo Farhat of Google to talk about the chip that rarely makes the headlines anymore: the CPU, and why it’s getting more important, not less, as AI shifts from chatbots to agents.
Farhat, who leads product management for Axion and Arm-based virtual machines at Google Compute Engine, tells The New Stack, “The role, more or less, is of a CPU as an air traffic controller.”
In this episode, we discuss how the shift from conversational chatbots to autonomous agents is quietly turning into a CPU story.
The workload shifted from answering to acting
Early chatbots returned a response, but agents can act on them. They perform tasks by calling tools and, when needed, create environments to execute the code they write.
“The orchestration harnesses themselves for agentic workloads are these always-on branching kind of control-flow logic that CPUs are great at,” Farhat says.
While large language models typically run on accelerators, CPUs also handle orchestration, data preparation, semantic search, and vector databases, Farhat says.
Patel, who drives Arm’s software ecosystem efforts for cloud and AI, says the company is focused on the software and infrastructure layers needed to run these workloads at scale. Different types of agents, he notes, are doing “different type[s] of code execution and API calling and the typical CPU work.”
There’s a role for actually running models here, too, but we’re talking about very small ones, including summarizers, recommenders, and evaluators.
“Today’s six- to eight-billion-parameter models are performing much better than they have in the past,” Farhat says. For some specialized workloads, he says, CPUs can deliver roughly 25 tokens per second, which can be enough for agentic workloads.
Why agents need sandboxes, and lots of them
For those agents to run code, though, they need an environment that lets them do so securely without endangering production systems.
“The agents are doing code execution, so you want to make sure that the LLM-generated code is trusted,” Patel says. “Or if it’s not trusted, then you kind of sandbox the environment.”
Google’s pitch for this is gVisor, an open-source project that acts as an isolation layer between the application and the host operating system. As Farhat puts it, “We operate in a zero-trust environment. This is exactly why you need the isolation technologies that agents run in.”
As Farhat puts it: “We operate in a zero-trust environment. This is exactly why you need the isolation technologies that agents run in.”
GKE Agent Sandbox, Google argues, can also handle the scale necessary in this agentic era.
“GKE Agent Sandbox will allow customers to spin up 300 sandboxes per second per cluster,” Farhat says. Patel says the platform uses pod snapshots and warm pools of suspended environments to help customers scale more quickly without keeping all of those environments fully provisioned.
The efficiency pitch
Google says Axion can offer advantages in both cost and energy use.
“Axion today will give you up to 2x the price performance of comparable current-generation virtual machines,” Farhat says, “and we’ll do that at over 60% better energy efficiency as well.”
Google offers Axion C4A machines for consistently high performance and N4A machines for a balance of performance and cost-optimized workloads. For a compute-bound, long-running engineering job where completion time is critical, Farhat says C4A offers the needed performance. For smaller code-execution tasks where density and cost matter more, he points to N4A.
“The good thing about the options in Google Cloud is, like Mo offered earlier, you have the C4A for high-performance workloads, and then the N4A,” Patel says. “You want to scale a large number of agents, and different types of agents are doing different types of code executions and API calling and the typical CPU work. The N4A is a great fit.”
Farhat’s broader point is also that CPU, GPU, and TPU resources will continue to work together as agents scale.
“We’re in a fluid compute world,” he says. “We do recommend that customers look at all the options, CPU-based, TPU, GPU-based, and ensure that their application is built to scale going forward.”
The post Why CPUs still matter in the age of AI agents appeared first on The New Stack.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み