チーム規模を縮小せずにトークン予算を削減する方法
Nvidia のジェンソン・フアンCEOが示した「トークン予算と人件費のトレードオフ」の誤解を解き、レイオフではなくプロンプト最適化やモデル選定によるコスト削減の実践的解決策を提示する。
キーポイント
トークン予算と人員削減のパラダイムシフト
Nvidia のCEOが、エンジニアの年間トークン消費額が給与の半分を下回ると「深く懸念」すると発言し、企業が人件費をトークン購入に振り向ける構造変化を示唆している。
人員削減はリターンを生んでいない
Gartner の調査では、AI 導入に伴う人員削減の 80% に収益改善との相関が見られず、Uber の事例でも AI 生成コードが顧客体験に直結しないことが判明している。
トークン予算を最適化する具体的な技術
プロンプトキャッシングの導入で重複処理コストを最大 90% 削減できるほか、適切なサイズのモデルへルーティングすることで、レイオフなしに大幅なコスト削減が可能である。
コスト削減とモデル最適化
ルーティングの最適化、バッチ処理、RAG、プロンプト圧縮、およびオープンウェイトモデルの活用により、トークン予算を大幅に削減できます。
AI は人間を代替せず増幅する
Klarna の事例が示す通り、AI を導入して人員を削減すると品質が低下するため、ルーチン業務は AI に任せつつ判断が必要な業務には人間を配置するハイブリッドモデルが有効です。
若手エンジニアの育成投資
トークンコスト削減で浮いた予算は、将来システムを指揮するシニアエンジニアの育成源である若手開発者の雇用維持に充てるべき経営判断です。
影響分析・編集コメントを表示
影響分析
この記事は、企業が AI コスト削減のために安易な人員削減を行う風潮に対し、技術的な最適化による解決策を提示することで、業界の経営判断に重要な示唆を与えるものです。特に「トークン予算は柔軟に変形可能」という視点は、AI 導入企業の財務戦略とリソース配分におけるパラダイムシフトを促す可能性があります。
編集コメント
AI 導入における「コスト削減＝人員削減」という短絡的な思考を戒め、技術的工夫による効率化の重要性を説く貴重な記事です。経営層は人員整理よりもプロンプト設計やアーキテクチャ見直しの可能性を再検討すべきでしょう。
ジェンセン・ホァンは、エンジニアを維持する価値があるかどうかを試すテストを持っており、それにはトークン予算が付随しています。GTC 2026 の終了時に All-In Podcast で語ったところ、Nvidia の最高経営責任者（CEO）は、年間 AI トークン消費量が 50 万ドルのエンジニアの給与の半分未満であれば、「私は深く警戒するだろう」と述べました。Nvidia は、エンジニア部隊に対する年間トークン請求額を 20 億ドルに引き上げることを目指して取り組んでいると確認しました。
彼は、多くの企業がすでに派手さなく行っているトレードオフについて説明していました：かつては人件費に使われていた資金が、ますますトークンの購入に充てられるようになっているのです。主要な 4 つのハイパースケイラー（大規模クラウド事業者）は、2026 年の資本支出を合わせて約 7000 億ドルと予測しており、これは前年のほぼ倍額です。一方、転職支援企業である Challenger, Gray & Christmas のデータによると、AI が米国の雇用削減の理由として最も多く挙げられたのは、記録的な4年連続となりました。
ロイターが入手したメタ（Meta）社内部のメモでは、5 月の 8000 人分の役割削減は、同社の巨額の投資を相殺するものとして説明されており、これは収益が 33% 成長した四半期のことでした。こうした企業での人員整理は、生存のための措置ではありません。それは資金調達なのです。
問題は、その資金調達が約束された成果をもたらしていないことです。ガートナー（Gartner）社は、10 億ドル以上の売上を上げる企業の 350 人の経営者を対象に調査し、AI エージェントや自動化を導入している企業で、約 80% が人員削減を行ったものの、リターンの改善との相関は見られなかったと報告しました。アナリストのヘレン・ポイテヴィン（Helen Poitevin）の結論は率直でした。「労働力の削減は予算の余地を生み出すかもしれませんが、リターンを生み出すものではありません。」
Uber は、その教訓のトークン側の側面を非常に高価な方法で学びました。2026 年 12 月に AI コーディングツールを 5,000 人のエンジニアに提供した結果、2026 年の AI 予算を 4 月にはすべて使い果たしてしまいました。最高経営責任者（COO）の Andrew Macdonald は、コミットされたコードの 70% が AI によって生成されているにもかかわらず、顧客が気づくような何らかのものとのつながりが欠けていることを認めました。「そのリンクはまだ存在しません」と彼は述べています。
この 2 つの失敗を並べて考えると、実際の問題が浮き彫りになります。企業はトークン請求書を固定されたものとし、労働力を柔軟なものと見なしていましたが、実際はその逆です。給与削減は一度行われ、組織的な知識もそれとともに失われます。一方、トークン予算は、誰かがそれを設計しようとするならば、6 つの異なる場所で曲げられることがわかります。
トークン予算が曲がる場所
最も安価な解決策は、最も派手さのないものです：同じテキストを繰り返し処理するために支払うのをやめることです。プロンプトキャッシング（prompt caching）は現在、主要な API プロバイダー間で標準化されており、Anthropic と OpenAI が公表した価格体系において、システム指示や参照文書などの静的コンテンツが一度だけ処理され、その後の読み取りには非常に低いレートで済むため、繰り返し入力にかかるコストを最大 90% 削減します。
セキュリティ企業である ProjectDiscovery は、プロンプトの再構築によりキャッシュヒット率を 7% から 84% に引き上げ、キャッシュから 98 億トークンを提供しながら、LLM（大規模言語モデル）への総支出を 59% から 70% 削減しました。この単一のエンジニアリング exercise は、AI に起因する人員削減ラウンドの多くが節約した予算よりも多くの予算を回復させました。
次のレバーは、適切なサイズのモデルに作業をルーティングすることです。プロバイダー自身の価格表を見ると、フラッグシップモデルは小型の兄弟モデルよりもトークンあたり 5 倍の高額ですが、多くの生産ワークロードでは、デフォルトで通常の分類や要約処理が最も高価なティアに送られています。バッチ処理（batch processing）を利用すれば、リアルタイム回答を必要としない作業に対してさらに 50% の割引が適用されます。
検索拡張生成（Retrieval-augmented generation: RAG）は、知識ベース全体ではなく関連する断片のみをモデルに送信することで別の角度からこの問題に対処し、プロンプト圧縮（prompt compression）は各呼び出しで膨張させる冗長な例を削減します。オープンウェイトモデル（open-weight models）はさらにコストを削減し、インフラストラクチャの管理に意欲的なチーム向けに、最先端 API の価格の数分の一で通常のワークロードを処理できます。
これらの対策は、空の部屋の電気を消すことと AI において同等の行為であり、Uber が 4 月の予算超過後に課したエンジニアあたり月額 1,500 ドルの上限は、支出規律が最終的に訪れることの初期証拠です。先行している企業は単に、予算によって強制される前にその選択をしているだけです。
もう一つの解決策の半分は人間にあります
トークン請求書の最適化は、節約された資金が生産的な場所に還元される場合にのみ意味を持ちます。最も強力な証拠は人々に向いています。ポワトヴァンの研究では、ROI を改善した組織は、AI で労働力を代替するのではなく増幅させるために使用していた組織であることが分かりました。
Klarna は全社を対象に統制実験を実施し、顧客満足度が低下する前に、約 700 のカスタマーサービス職を OpenAI を活用したアシスタントに置き換えました。最高経営責任者（CEO）のセバスチャン・シミアトコフスキー氏はブルームバーグに対し、多くの経営者が口に出して認めない事実を語りました。「結果は品質低下であり、これは持続可能ではない」と。
現在、このフィンテック企業はハイブリッドモデルを採用しており、AI が定型業務のボリュームを引き受け、判断力を要する業務は再雇用された人間が担当しています。ガートナーはこのパターンが広まると予測し、2027 年までに AI を理由にカスタマーサービススタッフを削減した企業の半数が、再び彼らを雇い入れるだろうと予想しています。
最適化の論理が必須とし、任意のものから緊急課題へと変えるべき労働力への投資があります。スタンフォード大学の人間中心 AI 研究所（Institute for Human-Centered AI）は、2024 年水準と比較してソフトウェア開発者（22〜25 歳）の雇用が約 20%減少した一方、高齢層の雇用は増加していると報告しました。これは、今後 5 年後にこれらのシステムを指揮するシニアエンジニアを育成するための訓練場が企業によって撤去されていることを意味します。
トークン利用料金を 60%削減することに成功した企業には、最下位の職位での採用を継続する予算的余裕があります。それを行うかどうかは財務上の判断ではなく、経営陣の決断です。
Nvidia の黄氏による挑発は、決算電話会議を通じて響き続け、資本支出の数字も上昇し続けるだろう。勝者となるのは、トークンに最も多くを費やした企業でも、それらを賄うために最も多くの人員を削減した企業でもない——むしろ、トークン予算が最初から柔軟な項目であることを認識し、人員削減ではなくエンジニアリングによってそれを圧縮し、その差額をトークンの価値を生み出す人々に投資した企業である。
(画像提供：kate.sade)
関連記事：GitHub Copilot にトークン単位の AI 課金が導入される
業界のリーダーから AI やビッグデータについてさらに学びたいですか？アムステルダム、カリフォルニア、ロンドンで開催される「AI & Big Data Expo」をご覧ください。この包括的なイベントは TechEx の一部であり、サイバーセキュリティ＆クラウドエキスポなど他の主要なテクノロジーイベントと併催されます。詳細はこちらをクリックしてください。
AI News は TechForge Media によって運営されています。その他の今後のエンタープライズ技術イベントやウェビナーはこちらからご覧ください。
本記事「チームを縮小せずにトークン予算を削減する方法」は、AI News に最初に表示されました。
原文を表示
Jensen Huang has a test for whether an engineer is worth keeping, and it comes with a token budget attached. Speaking on the All-In Podcast at the close of GTC 2026, the Nvidia chief executive said that if a $500,000 engineer’s annual AI token consumption came in under half their salary, “I am going to be deeply alarmed.” Nvidia, he confirmed, is working toward a $2 billion yearly token bill for its engineering force.
He was describing a trade-off most companies have already made with less fanfare: money that once paid people increasingly pays for tokens. The four largest hyperscalers have guided roughly $700 billion in combined 2026 capital expenditure, nearly double last year, while data from outplacement firm Challenger, Gray & Christmas shows AI as the most-cited reason for US job cuts for a record fourth consecutive month.
An internal Meta memo obtained by Reuters described May’s cuts of 8,000 roles as offsetting the company’s substantial investments, in a quarter when revenue grew 33%. The layoffs at companies like these aren’t survival measures. They’re financing.
The trouble is that the financing hasn’t bought what it promised. Gartner surveyed 350 executives at companies with over $1 billion in revenue, all deploying AI agents or automation, and found roughly 80% had cut headcount with no correlation to improved returns. Analyst Helen Poitevin’s verdict was blunt: “Workforce reductions may create budget room, but they do not create return.”
Uber learned the token side of that lesson the expensive way, giving 5,000 engineers AI coding tools in December and exhausting its entire 2026 AI budget by April. Chief Operating Officer Andrew Macdonald conceded that despite 70% of committed code being AI-generated, the connection to anything customers notice is missing: “That link is not there yet.”
Put those two failures side-by-side and the actual problem comes into focus. Companies treated the token bill as fixed and the workforce as flexible, when the opposite is true. Payroll cuts happen once and take institutional knowledge with them. A token budget, it turns out, bends in half a dozen places if anyone bothers to engineer it.
Where the token budget bends
The cheapest fix is also the least glamorous: stop paying to process the same text repeatedly. Prompt caching, now standard across the major API providers, cuts the cost of repeated input by up to 90% under Anthropic’s and OpenAI’s published pricing, because static content like system instructions and reference documents gets processed once and reread at a fraction of the rate.
Security firm ProjectDiscovery documented raising its cache hit rate from 7% to 84% by restructuring prompts, cutting its total LLM spend by 59 to 70% while serving 9.8 billion tokens from cache. That single engineering exercise recovered more budget than most AI-attributed layoff rounds save.
The next lever is routing work to the right-sized model. Providers’ own price lists show flagship models costing five times their smaller siblings per token, yet plenty of production workloads send routine classification and summarisation to the most expensive tier by default. Batch processing adds a further 50% discount for anything that doesn’t need a real-time answer.
Retrieval-augmented generation attacks the problem from another angle by sending the model only the relevant slice of a knowledge base rather than the whole thing, and prompt compression trims the redundant examples that inflate every call. Open-weight models reduce costs further still, handling routine workloads at a fraction of frontier API prices for teams willing to manage the infrastructure.
These measures are simply the AI equivalent of turning off the lights in empty rooms, and Uber’s $1,500 monthly cap per engineer – imposed after the April overrun – is early evidence that spending discipline arrives eventually. The companies getting ahead are simply choosing it before the budget forces it.
The other half of the fix is human
Optimising the token bill only matters if the savings go somewhere productive, and the strongest evidence points at people. Poitevin’s research found the organisations that improved ROI were those using AI to amplify their workforce rather than replace it.
Klarna ran the controlled experiment on everyone’s behalf, replacing roughly 700 customer service roles with an OpenAI-powered assistant before customer satisfaction fell. Chief Executive Sebastian Siemiatkowski told Bloomberg what few executives admit aloud: “The result was lower quality, and that’s not sustainable.”
The fintech now runs a blended model, with AI absorbing routine volume while rehired humans handle everything requiring judgment. Gartner expects the pattern to spread, predicting that by 2027 half the companies that cut customer service staff for AI will rehire them.
There’s one workforce investment the optimisation logic makes urgent rather than optional. Stanford University’s Institute for Human-Centered AI found employment for software developers aged 22 to 25 fell nearly 20% from 2024 levels even as older cohorts grew, which means companies are removing the training ground for the senior engineers they’ll need directing all these systems in five years.
A business that has just engineered 60% off its token bill has the budget room to keep hiring at the bottom rung. Whether it does is a leadership decision, not a financial one.
Nvidia’s Huang’s provocation will keep echoing through earnings calls, and the capex numbers will keep climbing. The companies that come out ahead won’t be the ones that spent the most on tokens or cut the most people to afford them—they’ll be the ones that noticed the token budget was the flexible line all along, squeezed it with engineering rather than headcount, and spent the difference on the people who make the tokens worth anything.
(Image by kate.sade)
See also: Per-token AI charges come to GitHub Copilot
Want to learn more about AI and big data from industry leaders? Check out AI & Big Data Expo taking place in Amsterdam, California, and London. The comprehensive event is part of TechEx and is co-located with other leading technology events including the Cyber Security & Cloud Expo. Click here for more information.
AI News is powered by TechForge Media. Explore other upcoming enterprise technology events and webinars here.
The post How to shrink the token budget without shrinking the team appeared first on AI News.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み