チーム規模を縮小せずにトークン予算を削減する方法

ジェンセン・ホァンは、エンジニアを維持する価値があるかどうかを試すテストを持っており、それにはトークン予算が付随しています。GTC 2026 の終了時に All-In Podcast で語ったところ、Nvidia の最高経営責任者（CEO）は、年間 AI トークン消費量が 50 万ドルのエンジニアの給与の半分未満であれば、「私は深く警戒するだろう」と述べました。Nvidia は、エンジニア部隊に対する年間トークン請求額を 20 億ドルに引き上げることを目指して取り組んでいると確認しました。

彼は、多くの企業がすでに派手さなく行っているトレードオフについて説明していました：かつては人件費に使われていた資金が、ますますトークンの購入に充てられるようになっているのです。主要な 4 つのハイパースケイラー（大規模クラウド事業者）は、2026 年の資本支出を合わせて約 7000 億ドルと予測しており、これは前年のほぼ倍額です。一方、転職支援企業である Challenger, Gray & Christmas のデータによると、AI が米国の雇用削減の理由として最も多く挙げられたのは、記録的な4年連続となりました。

ロイターが入手したメタ（Meta）社内部のメモでは、5 月の 8000 人分の役割削減は、同社の巨額の投資を相殺するものとして説明されており、これは収益が 33% 成長した四半期のことでした。こうした企業での人員整理は、生存のための措置ではありません。それは資金調達なのです。

問題は、その資金調達が約束された成果をもたらしていないことです。ガートナー（Gartner）社は、10 億ドル以上の売上を上げる企業の 350 人の経営者を対象に調査し、AI エージェントや自動化を導入している企業で、約 80% が人員削減を行ったものの、リターンの改善との相関は見られなかったと報告しました。アナリストのヘレン・ポイテヴィン（Helen Poitevin）の結論は率直でした。「労働力の削減は予算の余地を生み出すかもしれませんが、リターンを生み出すものではありません。」

Uber は、その教訓のトークン側の側面を非常に高価な方法で学びました。2026 年 12 月に AI コーディングツールを 5,000 人のエンジニアに提供した結果、2026 年の AI 予算を 4 月にはすべて使い果たしてしまいました。最高経営責任者（COO）の Andrew Macdonald は、コミットされたコードの 70% が AI によって生成されているにもかかわらず、顧客が気づくような何らかのものとのつながりが欠けていることを認めました。「そのリンクはまだ存在しません」と彼は述べています。

この 2 つの失敗を並べて考えると、実際の問題が浮き彫りになります。企業はトークン請求書を固定されたものとし、労働力を柔軟なものと見なしていましたが、実際はその逆です。給与削減は一度行われ、組織的な知識もそれとともに失われます。一方、トークン予算は、誰かがそれを設計しようとするならば、6 つの異なる場所で曲げられることがわかります。

トークン予算が曲がる場所

最も安価な解決策は、最も派手さのないものです：同じテキストを繰り返し処理するために支払うのをやめることです。プロンプトキャッシング（prompt caching）は現在、主要な API プロバイダー間で標準化されており、Anthropic と OpenAI が公表した価格体系において、システム指示や参照文書などの静的コンテンツが一度だけ処理され、その後の読み取りには非常に低いレートで済むため、繰り返し入力にかかるコストを最大 90% 削減します。

セキュリティ企業である ProjectDiscovery は、プロンプトの再構築によりキャッシュヒット率を 7% から 84% に引き上げ、キャッシュから 98 億トークンを提供しながら、LLM（大規模言語モデル）への総支出を 59% から 70% 削減しました。この単一のエンジニアリング exercise は、AI に起因する人員削減ラウンドの多くが節約した予算よりも多くの予算を回復させました。

次のレバーは、適切なサイズのモデルに作業をルーティングすることです。プロバイダー自身の価格表を見ると、フラッグシップモデルは小型の兄弟モデルよりもトークンあたり 5 倍の高額ですが、多くの生産ワークロードでは、デフォルトで通常の分類や要約処理が最も高価なティアに送られています。バッチ処理（batch processing）を利用すれば、リアルタイム回答を必要としない作業に対してさらに 50% の割引が適用されます。

検索拡張生成（Retrieval-augmented generation: RAG）は、知識ベース全体ではなく関連する断片のみをモデルに送信することで別の角度からこの問題に対処し、プロンプト圧縮（prompt compression）は各呼び出しで膨張させる冗長な例を削減します。オープンウェイトモデル（open-weight models）はさらにコストを削減し、インフラストラクチャの管理に意欲的なチーム向けに、最先端 API の価格の数分の一で通常のワークロードを処理できます。

これらの対策は、空の部屋の電気を消すことと AI において同等の行為であり、Uber が 4 月の予算超過後に課したエンジニアあたり月額 1,500 ドルの上限は、支出規律が最終的に訪れることの初期証拠です。先行している企業は単に、予算によって強制される前にその選択をしているだけです。

もう一つの解決策の半分は人間にあります

トークン請求書の最適化は、節約された資金が生産的な場所に還元される場合にのみ意味を持ちます。最も強力な証拠は人々に向いています。ポワトヴァンの研究では、ROI を改善した組織は、AI で労働力を代替するのではなく増幅させるために使用していた組織であることが分かりました。

Klarna は全社を対象に統制実験を実施し、顧客満足度が低下する前に、約 700 のカスタマーサービス職を OpenAI を活用したアシスタントに置き換えました。最高経営責任者（CEO）のセバスチャン・シミアトコフスキー氏はブルームバーグに対し、多くの経営者が口に出して認めない事実を語りました。「結果は品質低下であり、これは持続可能ではない」と。

現在、このフィンテック企業はハイブリッドモデルを採用しており、AI が定型業務のボリュームを引き受け、判断力を要する業務は再雇用された人間が担当しています。ガートナーはこのパターンが広まると予測し、2027 年までに AI を理由にカスタマーサービススタッフを削減した企業の半数が、再び彼らを雇い入れるだろうと予想しています。

最適化の論理が必須とし、任意のものから緊急課題へと変えるべき労働力への投資があります。スタンフォード大学の人間中心 AI 研究所（Institute for Human-Centered AI）は、2024 年水準と比較してソフトウェア開発者（22〜25 歳）の雇用が約 20%減少した一方、高齢層の雇用は増加していると報告しました。これは、今後 5 年後にこれらのシステムを指揮するシニアエンジニアを育成するための訓練場が企業によって撤去されていることを意味します。

トークン利用料金を 60%削減することに成功した企業には、最下位の職位での採用を継続する予算的余裕があります。それを行うかどうかは財務上の判断ではなく、経営陣の決断です。

Nvidia の黄氏による挑発は、決算電話会議を通じて響き続け、資本支出の数字も上昇し続けるだろう。勝者となるのは、トークンに最も多くを費やした企業でも、それらを賄うために最も多くの人員を削減した企業でもない——むしろ、トークン予算が最初から柔軟な項目であることを認識し、人員削減ではなくエンジニアリングによってそれを圧縮し、その差額をトークンの価値を生み出す人々に投資した企業である。

(画像提供：kate.sade)

関連記事：GitHub Copilot にトークン単位の AI 課金が導入される

本記事「チームを縮小せずにトークン予算を削減する方法」は、AI News に最初に表示されました。