The Pulse: トークン使用量が予算を超過 – 次は？

こんにちは、Pragmatic Engineer ニュースレターの特別無料号をお届けするゲルゲーです。毎号、シニアエンジニアやエンジニアリングリーダーの視点からビッグテックとスタートアップを取り上げています。今回は先週の『The Pulse』で取り上げた 3 つのトピックのうち 1 つを扱います。フル購読者には、以下の記事が 7 日前に配信されています。このメールを転送された方は、こちらから購読できます。 先週は業界全体で見られるやや逆説的なトレンド「tokenmaxxing」について取り上げました。これは開発者がエージェントを実行し、社内トークンリーダーボードで上位ランクインするため、あるいは同僚と比べて AI ツールを十分に活用していないという「ルディット（技術革新に抵抗する人）」に見られないよう、個人的な「トークン統計数値」を向上させることを唯一の目的としている現象です。 今週は、大企業で働くソフトウェアエンジニアとシード段階のスタートアップで働くもう一人の開発者と話しました。両者ともほぼ同じ話をしてくれました。最新の全社会議において、会社経営陣がトークンの急激なコスト増に懸念を表明したのです。どちらの職場でも、過去 6 ヶ月間でトークンへの支出が約 10 倍に増加しており、減速する兆候は見られません。 このトレンドについて詳しく知りたいと思い、15 の企業で働く開発者に話を聞きました。以下は、あらゆる規模の職場で何が起きているかについて私が学んだことです。名前は匿名化されています。 大企業 デフォルトモデルをより安価なものに切り替える：全大陸にオフィスを構え、従業員 10,000 人以上の SaaS 企業 大規模 SaaS 企業の内部では、開発者の多くはコーディングに社内背景用コードツールを使用しています。このモデルのデフォルト設定は、より安価な Claude バージョンである Claude Sonnet です。モデル選択は保存されないため、Opus を好む開発者は、その後の起動ごとに再度手動で選択する必要があります。 このツールは、Sonnet、Opus、GPT、Gemini など、主要な最先端モデルすべてをサポートしています。私が話を聞いた同社の開発者は非常に頻繁にこのツールを利用していますが、利用制限に直面したことはありません。 米国にある金融技術（Fintech）企業、シリーズ D 段階、従業員数約 8,000 名。スタッフエンジニア: 「トークン使用量によるコストは桁外れです——経営陣もこの傾向を共有してくれています。彼らは支出の増加を示し、これが持続可能ではないと述べる以外には何も言いません。したがって、具体的な対策はまだありませんが、私の感覚では何らかの変更が必要になるでしょう。利用制限の設定か、より安価なモデルへの優先化、採用数の削減でしょうか？誰にもわかりません。」 米国にあるインフラ企業、上場企業、従業員数約 5,000 名。エンジニアリングディレクター: 「監視はしていますが、制限は行っていません。最も利用量の多いユーザーをスポットチェックしていますが、ビジネスケースは機能している様子です。 モデル選択に関するガイダンスを提供しています——例えば、Claude の新しい高負荷設定をオフにするなどです。一部のユーザーがオープンソースモデルを試していますが、オープンソースモデルの利用はボトムアップ型のイニシアチブであり、トップダウン型ではありません。」 米国にある情報技術（IT）企業、従業員数 10,000 名以上。エンジニアリングディレクター: 「4 月にはすでに API の予算制限を複数回引き上げざるを得ませんでした。最近、Claude に対してはるかに高負荷な設定に切り替えましたが、これにより PR（プルリクエスト）あたりのコストが大幅に増加しました。 コスト急増の理由の一つは、要求の高いタスクに対して最先端モデルを使用していることです。実際にははるかに安価なモデルや、低負荷な Claude ループで処理できたはずの比較的些細なタスクに対しても、この高負荷設定を適用しています。一部の者がこれを指摘しましたが、リーダーシップ層は基本的に「現時点では予算が懸念事項ではない」という姿勢です。 私は、この予算増額が予測されていなかったと感じており、いずれ清算の時が訪れるでしょう。組織内の財務部門やコスト意識の高い他の部署が、高度に活躍する開発者 1 人あたり 1 日数百ドルを支出していることを認識した時点で、態度が変わるのではないかと推測しています。現時点では、取り残されることへの恐怖や後れを取らないという思いが、コスト管理の規律を上回っているようです。」 ゲームスタジオ（米国・欧州）、従業員数約 5,000 名。シニア開発者： 「予算増額？ここでの AI 関連予算を確保するのは非常に困難です！Claude Code はまだ導入されていません。1 人あたり月額 200 ドルというコストが高すぎると見なされているためです。スタートアップ企業の関係者と話すと、そこで月間 1,000 ドルの支出が全くもって普通だと聞きますが、こことの違いは天と地ほどあります。」 フィンテック企業（米国・欧州）、後期ステージ、従業員数約 5,000 名。スタッフエンジニア： 「一部の開発者は、Claude Code に1日あたり500ドル（!!）も費やしています。実務的には、これにより人件費が倍増しました。生産性は私の見解では向上していますが、現在はコードレビューがボトルネックとなっています。AI は非常に素早くコードを生成できますが、依然として人間のレビュー体制は維持されています。経営層は AI を活用したコードレビューを推奨していますが、私のチームは AI を盲目的に信頼することはありません。 AI への推進力は上層部から来ています。今年の業績評価には AI の項目があり、開発者が AI をどの程度効果的に活用しているかで評価されるため、これも誰もが可能な限り多く AI を利用する理由の一つとなっています。」 中堅企業 SaaS 業界、米国、従業員約2,000名。Dev Productivity Lead（開発生産性責任者）: 「モデルルーティングにより、コストの急激な増加を抑えることができました。例えば、デフォルトのモデルを変更したことでコストが30%削減されました。これが AI 支出に関する私たちの戦略の要約です： 短期間：支出、支出、支出！意味のあるあらゆるモデルを実験し、使用すること。 影響を測定する。主要な成果指標を測定し、月次で支出状況を報告すること。 支出と結果が乖離した場合：調整を行う。支出が劇的に増加しているにもかかわらず成果が追従しない場合、そのギャップを埋めるために何ができるか検討する。より多くの支出はより良い成果をもたらすべきである。そうでない場合は、何か間違っているのだ。」 金融業界、米国、従業員約2,000名。VP of AI（AI 担当副社長）： 「Cursor と Claude Desktop を利用していますが、どちらも合計で約 800〜1,200 ユーザーを抱えています。トークン使用量は予期せぬペースで増加しており、推計値をその場で調整しています。当初の計画では厳格な制限（例えばユーザーあたり 100 ドル）を設定する予定でしたが、現実が突きつけられるとこの計画は崩れ、人々は 3〜5 営業日で予算を使い果たしてしまいます。 高価なモデルの使用も問題です。Cursor に関しては、多くの開発者が無意識のうちに最も高価なモデルをデフォルトで選択しており、例えば Opus を使用しても Sonnet に比べて知能面で数パーセントの向上しか得られないにもかかわらず、予算はほぼ即座に枯渇してしまいます。 私たちは、ユーザーあたり月額数千ドルというコストが当社の規模では持続不可能であるため、最も高価なモデルの使用をブロック・管理する取り組みを進めています。Cursor は優れたパートナーであり、彼らと協力して「プール型支出（pooled spend）」モデルへ移行しています。これにより、重負荷のユーザーは追加予算のプールから利用できるようになります。 Claude についても同様の状況です。当初は全員に Claude Desktop の利用制限を 100 ドルとしていましたが、今後を見据えると、特にビジネス上重要なユースケースにおいては、この上限を大幅に引き上げる必要があることが見えてきました。」 米国にあるインフラ企業（後期段階、従業員数約 700 人）の創業者： 「私たちは大きな問題には直面していません。多くの社員が自発的に突発的なコスト増を抑えています。例えば、キャッシュ処理のミスにより 1 週間で 1 万ドルもの費用がかかったケースがありましたが、これは早期に発見され、ハーン（harness）の修正が行われました。」 基本的に、当社のハイエンド層の支出は週あたり約1,000ドルを超えることはないと見ています。ただし、これは決して少額ではありません！しかし、すでに人口のごく一部に過ぎません。 現時点ではこれをエンジニアリングコストとして計算しています：例えば、従業員あたり月額2,000ドルなら、年間24,000ドルになります。 では、エンジニアの現金報酬が既に年間20万〜40万ドルかかる中で、誰が気にするのでしょうか？仮に月額5,000ドルだった場合でも、年間6万ドルです。 当社の見解は、トークンコストは安定し、最終的にはローカルに近いモデルに行き着くだろうというものです。 それが安定するまで5年かかる可能性もありますが、全体的に見て今日の支出が私にはそれほど狂気じみているとは思えません。 これについて無知な人々も大勢いますが、大半の正当な経営層はこれに反対しています。ラルフ・ループ（Ralph loops）や、1日あたり1,000ドル、週あたり5,000ドルを支出するような他の狂気じみた事例がそうです。これらはすべて、「研究開発」をしていると勘違いしたり、自分たちが他者よりも賢いと思い込んでいる人々が、出荷されないか有用性のないゴミを生産しているに過ぎません。 最初の数ヶ月には「愚かな過剰支出」の兆候が見られましたが、それはもう全て消えています。さらに多くの出力を見たいという要求で「鞭を振るう」ことになればコストはさらに上がる可能性もありますが、私たちはそのようなことはしていません。 米国ヘルスケア業界、従業員約500名のシニアエンジニアリングマネージャー： 「支出を抑えてはいませんし、月ごとの支出ランキングも設けています。むしろ、開発者にトークンへの支出を増やしてほしいのです！例えば、私の一人のエンジニアが、1日だけでClaude Code（Claude Code）のセッションに1,400ドルを費やしました。」 私たちは巨額のレバレッジを見ており、同じ人数でより多くのことを成し遂げています。そのため、支出が急騰しても問題ないと考えているのです。当社のトラフィックは前年比で 10 倍以上に成長しており、同じチームとこれらの AI ツールによって運営を維持できています。 エンジニアリング部門は現在、プロダクトとデザインによってブロックされています——これはかつてない事態です！これが実行速度の速さの現れです。私たちは今や Staff+ レベルのエンジニアがプロダクト PRD（製品要件定義書）を作成することで、より迅速に動き出すことができるようになりました。 私は技術業界でほぼ 15 年間働いてきましたが、これほど劇的な変化を見たことはありません。3 ヶ月間の休暇から戻ったばかりですが、私の日常にあるすべてのことが変わっています！これらの AI エージェントこそが、高水準プログラミング言語が普及して以来の業界における最大の変化だと感じています。 米国および欧州に拠点を置く EC 企業、開発者約 2,000 名。エンジニアリング責任者のコメント： 「支出の増加は異常なほどです。使用量の増加に止まる兆しはなく、使用量は記録的な水準にあります。 現在、制限を設けておらず、停止もしていません。当社の CEO は AI に熱中しており、私たちに減速させることは許しません。 私たちはトークンを割引で購入しています。利用するベンダー（いわゆる大手企業）との契約では、5% から始まり、使用量に応じて割引率が増加します。 コーディングには Opus 4.7 よりも低いモデルの使用は許可していません。より安価なモデルの方が適している可能性もありますが、プロダクション環境にわずかなエラーが流出すれば、数時間にわたる苦痛を伴う作業が発生するからです。」 中小企業 シリーズ A ラウンド、米国、従業員約 50 名。シニアエンジニアのコメント： 「約15名の開発者がAIの重度ユーザーであり、コストが非常に急速に上昇しています。ほぼ全員がClaudeとClaude Codeを利用しています。私たちは4つの潜在的な選択肢を検討しています： AI予算を増額し、より多くの測定を開始する。現状を継続しつつ、採用制限の代わりに開発者にトークン使用量を増やすことを許可する。正確なROI（投資対効果）を定量化するのは困難ですが、AIの導入状況と影響の両方を測定・追跡し始めます。 トークン消費の最適化を行う。単純なタスクにはより安価なモデルを使用し、トークン使用量を見直し、削減できる箇所を探る。デメリット：このアプローチはすぐに収穫逓減（diminishing returns）の状態に陥る可能性があります。 社内でAIプロバイダーをさらに統合する。LLM（大規模言語モデル）を抽象化するラッパーを見つけること。問題は、例えばClaude Codeをどのように置き換えるかです。 ローカルモデルへ転換する：KimiやQwenなど。問題は、高価なハードウェアまたはクラウドGPUへの大きな投資が必要となる点です。メリット：完了すれば、長期的なコスト管理においてより優れた制御が可能になります。 私たちはおそらく選択肢#1を採用するでしょう：支出を増やすが、勢いを維持し、適切な測定体制を整える。#2、#3、#4は後で実施可能です。しかし、社内でのAI利用の勢いを殺してしまえば、結果はおそらくさらに悪化します。」 AIインフラ（基盤）、米国、シード段階、約15名のチーム。創業者： 「6ヶ月間で15倍の増加を記録しました： 6ヶ月前、開発者あたりの支出は月額約200ドルでした。 今日では、7名の開発者に対して開発者あたり月額約3,000ドルとなっています。 特にAIインフラ製品を開発しているため、利用を抑制するつもりはありません。増加のペースは予想よりもはるかに速かったですが。」 小規模で自己資金のみの企業、ヨーロッパ。創設エンジニア： 「コスト増への対応における現在の戦略は、より安価なモデルへ切り替えることです；残念ながら、当社の場合は Opus から Sonnet への移行です。ただし、Sonnet はかなり優秀です。」 企業がトークン支出をどう管理するか 企業の規模に関わらず、増加する支出に対処するための戦略にはどうやら二つのようです。要約： 戦略 #1:「放っておいて測定を開始する」。回答者の約半数が AI への支出は劇的に増大していると述べ、それに対して何もしないと決めています。開発者には、合理的な範囲で可能な限り AI を活用し、業務を最大限支援させることを望んでいます。 しかし、コストが劇的に上昇しているため、これらの企業は今、利用状況を測定し始め、AI ツールの影響を計測しようとしています。 すでに非常にポジティブな影響が見られる企業もいくつかあります。顧客数、負荷、収益が爆発的に増加している小規模スタートアップでは、追加の人員採用は不要であり、既存のエンジニアが AI ツールを活用して成長を支え続けることができることが分かっています。 戦略 #2: 支出を抑制する。一般的に言及されるコスト削減アプローチ： 単純なタスクには安価なモデルを使用する デフォルトのモデルを能力の低いものに設定する 支出上限を設定し、エンジニアがそれを超過することを困難にするか、その場合の承認を必須とする 戦略#1を採用している企業のほとんどは、このアプローチを一時的に検討したものの却下しています。その理由は、最先端ツールの導入による生産性への影響がまだ不明な段階でコスト削減を最適化しようとするものだと見なしているからです。 数百万ドル規模の支出においてのみ割引が存在します。私は、トークンを大量購入する際にベンダーから割引を得ているかどうかについて複数の人物に尋ねました。具体的な数値はありませんでしたが、可能なカスタム契約に関する私の集約した認識は以下の通りです。 Cursor: 支出が数百万ドルを超えた場合に割引に応じる姿勢を示しています。$1M の支出を突破した企業は Cursor と割引交渉を行い、成功しています。一部の企業はこの水準から段階的な割引を交渉しており、支出が増えるにつれて5% からさらに高い割合へと引き上げられています。 Anthropic: 割引はありません。Claude に年間$5M以上を費やしている企業と話をしましたが、いずれも割引を受けたことはありません。もし Anthropic が割引を提供するとしても、それははるかに上位のティアにおいてのみとなるでしょう。 すべての割引は個別に設定されるため、交渉を試みる価値があります——無料です！価格割引は顧客ごとに個別に適用され、非常にカスタマイズされています。割引が利用可能かどうかを確認する最も簡単な方法は、ベンダーに直接問い合わせることです! —- 先週の『The Pulse』の完全版をお読みいただくか、今週の『The Pulse』をご覧ください。今週号では以下を取り上げています: AI からの負荷により GitHub がダウンする – なぜ他社ベンダーはそうならないのか。GitHub の信頼性は 90% を下回っており、さらに悪化している。多数のオープンソース貢献者である Mitchell Hashimoto は、同社がプロフェッショナルな業務に適していないと考え、GitHub を去ることを発表した。GitHub の経営陣は、サービスの劣化の原因としてサービス負荷が 3.5 倍に増加したと指摘している – または自らの過失によるものかもしれない。 信頼を損なうための Anthropic のスピードラン。Anthropic は最近まで何らかの過ちを犯すことはなかったが、過去 1 ヶ月でその状況は一変した。Claude Code を静かに弱体化させ、企業に対して Claude の利用を禁止し、理解に苦しむ価格上昇 – これらすべてが、Anthropic が同じかそれよりも劣るサービスでより多くの収益を生み出す「抽出」段階に入ったという感覚を増幅させている。 業界の動向。GitHub Copilot における劇的な値上げ、Codex の爆発的成長、優れたコーディングモデルの開発に躍起となる Google、SpaceX による Cursor の買収の可能性、AI エージェントが自動車事業を消滅させるなど、その他多くの出来事がある。 Mitchell Hashimoto と「ビルディングブロック経済」。Ghostty の創設者は、オープンソースの「ビルディングブロック」がソフトウェアコンポーネントに対して大規模な採用を獲得するための最良の方法であると見出している – しかし、オープンなビルディングブロックの上にビジネスを構築することは以前よりも難しくなっている。

The Pulse: トークン使用量が予算を超過 – 次は？

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト