Datadog、AIコスト急騰に伴いGPU効率の可視化を強化
Datadog は、AI 投資の増加に伴う GPU コストの高騰と非効率な利用の問題に対処するため、GPU の監視機能を観測スタックに追加し、コストとパフォーマンスを可視化する新ツールを発表した。
キーポイント
GPU コストの急増と可視化の必要性
GPU インスタンスがクラウド計算コストの 14% を占め、さらに増加傾向にある中、企業はコスト上昇を把握できても詳細な分析や改善策が見出せない課題を抱えている。
統合された可視化ツールの提供
Datadog の新機能は、GPU ファームの健全性、コスト、パフォーマンスをチーム単位でリンクさせ、遅延するワークロードのトラブルシューティングとコスト削減を可能にする。
非効率な利用と「ゾンビ」プロセスの検出
アイドル状態の GPU や、GPU を必要としないワークロードによる無駄遣い、初期化フェーズで止まったプロセス（ゾンビ）を特定し、運用上の非効率性を解消する。
オンプレミスからクラウドまでの対応
このツールはパブリッククラウド、ニュークラウド、そしてデータ主権などの懸念からオンプレミスの GPU ファームまで幅広くサポートし、包括的な監視を実現する。
競合他社もAIスタックの可観測性を強化
GrafanaやNutanixなど、主要なテックベンダーがGPU利用状況やコスト最適化を含むAIスタック下部での監視ツールを相次いで展開している。
ワークロードごとのコスト特定が可能に
個々のAIワークロードのコストを算出したり、設定ミスによる請求額の上昇要因を特定する仕組みが整備されつつある。
重要な引用
GPU instances now make up 14 percent of cloud compute costs as companies clamber on the AI bandwagon
While these companies can see their costs climbing, they can't chargeback GPU spend across business units, see workload context or identify clear next steps for improvement.
It's easy to see how much of your fleet is sitting completely idle or being ineffectively consumed by a workload that doesn't require GPUs at all
Rising costs are often driven by operational inefficiency rather than hardware alone.
So, it's getting easier to work out how much individual AI workloads are costing you, and what processes and software misconfigurations could be making bills higher than necessary.
Whether this means enterprises can actually start working out whether they're getting value from AI investments may be quite another question.
影響分析・編集コメントを表示
影響分析
このニュースは、AI 導入が加速する中で「コストの見える化」が次なる重要課題であることを示しており、企業はハードウェア投資だけでなく運用効率の最適化に注力する必要性が高まっていることを意味します。Datadog のような監視ツールの進化は、AI プロジェクトの ROI を評価し、無駄な支出を削減するための標準的なプラクティスとして定着させる契機となるでしょう。
編集コメント
AI 投資が爆発的に増加する中、ハードウェアの購入だけでなく、その稼働率やコスト配分の可視化が企業の競争力を左右する時代になりました。Datadog の対応は、単なる監視ツールの機能追加を超え、AI 運用の成熟度を高める重要なステップと言えます。
Datadogは、その観測可能性スタックにGPUモニタリングを追加し、AIを渇望する組織に対して、最も高価なシリコン上で実際に何が起こっているのかについて、より詳細な洞察を提供するようになった。
この観測可能性ベンダーは、企業がAIの波に乗り出している中で、GPUインスタンスがクラウドコンピューティングコストの14％を占めるようになっていると述べており、将来はGPUへの支出がクラウドコンピューティング支出のより大きな割合を占めるようになるだろうと指摘している。
今月初め、IDCは「2025年第4四半期の全世界の人工知能（AI）インフラへの支出は899億ドルに達し、前年同期比62％の増加だった」と発表している。そして、この「構造的な基盤」を担っているのが、主にGPUによるアクセラレーテッドコンピューティング（高速化された計算処理）である。
しかし、企業が巨額のAI投資からどのような価値（もしあれば）を引き出しているのかについては、多くの議論が交わされている。
Datadogはこの論争の渦中に踏み込むつもりはない。しかし、チーフプロダクトオフィサーのYanbing Liは次のように述べている。「これらの企業はコストが増加していることを把握できるものの、事業部門間でGPU支出を課金できず、ワークロードのコンテキストを確認することも、改善に向けた明確な次のステップを特定することもできない。」
それに対応するため、Datadogは最新のツールがAIスタック全体にわたる統一された可視性を提供し、「GPUフリートの健全性、コスト、パフォーマンスを、それらに依存するチームと直接結びつける単一のビューを提供することで、低速なワークロードの迅速なトラブルシューティングとコスト削減を実現する」と主張している。
より詳細な説明によると、このツールはクラウドおよびネオクラウドのインスタンス、さらにオンプレミスのGPUフリート全体で動作する。もし主権に関する懸念からクラウド上のAIに警戒感を抱いているなら、これは非常に有用だろう。
「フリートのどの部分が完全にアイドル状態にあるか、あるいはGPUを必要としないワークロードによって非効率的に消費されているかを簡単に把握できる」と同ツールは述べている。「Fleet Explorer（フリートエクスプローラー）を詳細に調べることで、各チームのGPU利用率と支出に対する責任を追及できる」。
GPU時間を無駄に消費している停止中やゾンビ化したプロセスを特定するだけでなく、当初からGPU用に構成されていなかったワークロードも検出され、結果として資金が浪費されるのを防ぐ。
「Datadog社内では、GPUモニタリングにより、初期化フェーズで固まっていたサービングポッドを特定して削除することで、月次費用を数万ドル節約できました」と説明書は記している。
「コスト上昇は、ハードウェア単独ではなく、運用上の非効率性によって引き起こされることが多い。コストを利用率やワークロードの動作と結びつけることで、パフォーマンスを維持しながら無駄を削減できる」
Datadog が AI スタックのさらに下層部への観測可能性の拡張に取り組んでいるのは、決して単独ではない。今週もまた、Grafana が AI 向けの観測可能性ツールをリリースし、エージェントの動作に関する洞察を提供した。さらにその Grafana Cloud プラットフォームは、ハードウェアの利用状況やリソース割り当て、そしてコスト最適化をカバーする GPU 観測可能性ツールを提供している。
- AI がサーバーの電力と管理用チップを大量に消費する時代へ
- 一枚のチップで全てを支配：TPU 8 の登場により、Google は AI 軍拡競争に勝つための戦いを繰り広げている
- Intel、TSMC への依存軽減を目指し「米国製」Core Series 3 プロセッサで対抗
- すべてのネットワークが AI トラフィックを処理できるわけではない――専門家が警鐘を鳴らす
今月初旬、Nutanix はマルチテナンシーフレームワークを発表し、組織が既存の GPU でより多くのワークロードを実行できるようにするとともに、AI システムがトークンをどのように消費しているかについてのより深い洞察を提供した。
したがって、個々の AI ワークロードがどれだけのコストをかけているか、またどのようなプロセスやソフトウェアの誤設定が請求額を必要以上に高めているかを把握することが容易になっている。
これにより、企業は AI インフラストラクチャおよび関連するアプリやエージェントが可能な限り効率的に稼働していることを確認できる。しかし、企業が実際に AI 投資からのリターンを得られているかどうかを算出できるようになるかどうかは、また別の問題かもしれない。 ®
原文を表示
Datadog has added GPU monitoring to its observability stack, giving AI-hungry organizations more insight into exactly what's happening on their most expensive silicon.
The observability vendor says GPU instances now make up 14 percent of cloud compute costs as companies clamber on the AI bandwagon, and that GPU spend will take up an even bigger proportion of cloud compute spend in the future.
Earlier this month, IDC said: "Worldwide spending on artificial intelligence (AI) infrastructure reached $89.9 billion in Q4 2025" up 62 percent on the year. And accelerated compute – mainly GPUs – is the "structural backbone" of this.
But there's plenty of debate over what value – if any – companies are deriving from their massive AI investments.
Datadog is not getting into that bearpit. But as chief product officer Yanbing Li puts it, "While these companies can see their costs climbing, they can't chargeback GPU spend across business units, see workload context or identify clear next steps for improvement."
To address that, Datadog claims, its latest tool offers unified visibility across the AI stack, "giving customers a single view linking GPU fleet health, cost, and performance directly to the teams relying on them for faster troubleshooting of slow workloads and cost savings."
A longer explainer says the tooling works across both cloud and neocloud instances as well as on-prem GPU fleets – handy if sovereignty concerns are making you wary of AI in the cloud.
"It's easy to see how much of your fleet is sitting completely idle or being ineffectively consumed by a workload that doesn't require GPUs at all," it says. "You can drill into the Fleet Explorer to hold each team accountable for their GPU utilization and spend."
As well as identifying stalled or zombie processes soaking on GPU time, it will spot workloads that were never configured for GPUs in the first place, effectively burning cash.
"Internally at Datadog, GPU Monitoring helped us save tens of thousands in monthly expenses by identifying and removing a serving pod that had been stuck in the initialization phase," the explainer said.
"Rising costs are often driven by operational inefficiency rather than hardware alone. By linking cost to utilization and workload behavior, teams can reduce waste while maintaining performance."
Datadog is certainly not alone in extending observability further down the AI stack. This week also saw Grafana launch observability tools for AI, provide insights into agent behavior, while its Grafana Cloud platform offers GPU observability tools covering hardware utilization and resource allocation, as well as cost optimization.
- AI now gobbling up power and management chips for servers
- Forget one chip to rule them all: With TPU 8, Google has an AI arms race to win
- Intel eases reliance on TSMC with 'Merica-made Core Series 3 processors
- Not all networks can handle AI traffic – and experts are sounding alarms
Earlier this month, Nutanix unveiled a multi-tenancy framework to allow organizations to run more workloads on their previous GPUs, and provide more insight into how AI systems are chewing through tokens.
So, it's getting easier to work out how much individual AI workloads are costing you, and what processes and software misconfigurations could be making bills higher than necessary.
This means enterprises can ensure their AI infrastructure and their associated apps and agent are running as efficiently as possible. Whether this means enterprises can actually start working out whether they're getting value from AI investments may be quite another question. ®
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み