出力最大化の教授——アンジニー・ミドハ氏（AMP）

通常チケットの完売まで残り 4 日です。これは世界最大の AI エンジニア、創業者、リーダー、研究者が集まるイベント「AI Engineer World's Fair」です。参加者には 5,000 ドル以上のスポンサークレジットが付与され、登壇内容も素晴らしいものとなっています。ぜひご参加ください！ AI のスケーリングに関する議論は常に「どうすればより多くの GPU を手に入れられるか」という点に焦点が当たりますが、より本質的な問いは「すでに持っている GPU をいかに最大限活用するか」ではないでしょうか。 xAI といった最先端研究所が、モデル FLOPs 利用率（MFU）で 10% を下回る状態で稼働しているという事実は、真の問題がどこにあるのかを示唆しています。 ![image](https://substackcdn.com/image/fetch/$s_!kumG!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0422ec73-8239-45ef-aede-51a7cfb19b47_1166x1104.png) tweet 参考までに、過去の最先端規模のトレーニング実行では、すでに 10% をはるかに上回る数値でした。GPT-3 は MFU が約 21%、Gopher は約 32%、Megatron-Turing NLG は約 30%、PaLM は約 46% に達していました。そしてゲストの Anjney 氏によれば、現在のベストインクラスにおける MFU は 60〜70% に近いとのことです。 ![image](https://substackcdn.com/image/fetch/$s_!qe61!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F15ba313b-509c-48d3-b7d6-fbfc466ef2ee_950x244.png) PaLM: スケーリング言語モデリングにおける Pathways の活用 必ずしも xAI が独自に無能であるというわけではなく（彼らには有能な人材がいることは明らかだ）むしろ、GPU 軍拡競争における優先順位が逆転している可能性があります。 GPU アクセスはボトルネックですが、単純に資本支出を増やしても、最先端 AI はもはやシステム全体の課題となっているため、自動的にモデルの向上につながるとは限りません。スケジューリング、利用率、ネットワーク、カーネル、フレームワーク、データパイプライン、並列処理、クラスタの信頼性、そして理論上の FLOPs を実際のトレーニング進捗に変えるかどうかを決定する千の小さな判断などです。 Discord の開発者プラットフォームの構築や、Anthropic、Mistral、Black Forest Labs、Periodic Labs といった最先端 AI 企業への支援から、現在では AMP の独立した計算グリッドの構築に至るまで、Anjney Midha は AI スケーリングにおける真のボトルネックに長年携わってきました。このエピソードでは、Anjney が swyx とともに Periodic Labs で、なぜ AI ラスが単に GPU をもっと買うことだけではないのか、なぜ 95% の利用率が Google では障害と見なされたのか、そしてなぜ AI インフラの次の時代はより整合性があり、より効率的で、より責任あるものでなければならないのかを解き明かします。 FLOPs がメガワットのように流れるような計算グリッドに関する AMP のビジョン、フルスタック AI ラボと水平プーリングの違い、AI データセンターがなぜコミュニティの支持を必要とするか、そして計算市場がどのように独立系統運営者（ISO: Independent System Operator）に近づく形で進化しうるかについて深く掘り下げていきます。Anjney はまた、DeepMind の未発表研究がなぜ市場の失敗を示唆しているのか、ライフサイクル終了予測がいかに彼が 14 年間考え続けてきた中で最も重要な AI アプリケーションの一つであるのか、そして「アウトプット・マキシマイジング（output maxing）」がフロンティアシステムにおける新たな学問分野となりうる理由についても説明します。 また、Anthropic の企業文化について、コーディングモデルにおいてなぜ「幸運は準備された心に味方するか」について、Claude がどのようにコーディングを突破したのか、なぜ早期に過剰な資本が流入すると AI ラボが脆弱化してしまうのか、Periodic Labs が科学と超伝導体を用いて何を目指しているのか、なぜ優れた研究者が優れた CEO になり得るのか、そしてシリコンバレーがいかにして深く宣教者的でありながら同時に深く利己主義的であるかについても議論します。 議論の要点： Google で稼働率 95% が停止と見なされた理由 フロンティア・ラボ規模における AI インフラストラクチャの無駄がどのように複合的に増幅されるか なぜ「速く動いて物を壊す」というアプローチは AI データセンターには通用しないのか データセンターへの反発、電力グリッド、コミュニティのインセンティブがどのように AI のスケーリングを形作るか FLOPs をメガワットのように流れるようにするための AMP のビジョン なぜ計算資源に独立系統運営者（ISO: Independent System Operator）が必要なのか Google 内部でどのように割り込み可能な需要と動的優先順位付けが機能したのか DeepMind の研究の囲い込みがいかにして負の外部不経済（negative externalities）を生み出すか AMP の 1.2GW ベースロードの野望と、6GW のスパイク容量の必要性 なぜ寿命予測が AI の最も重要な医療応用の一つになり得るのか Frontier Systems、アウトプット・マキシマックス（出力最大化）、そしてフルスタック・アライメント なぜ組織がスケールするにつれて API と抽象化レイヤーはロス（損失）を伴うものになるのか 超伝導体、標準規格、そしてロスレス・システムの夢 SF Compute、オープンプロトコル、そして計算市場の未来 なぜ NVIDIA 製以外のチップも NVIDIA のリファレンスアーキテクチャから恩恵を受けられるのか 信頼境界と、なぜチップスタートアップは将来のモデルアーキテクチャへの可視性を必要とするのか なぜベンチャーキャピタリスト（VC）は研究者を CEO として過小評価しがちなのか 科学者たちは心のスターアスリートである なぜ優れた CEO はスタック全体で上下に挑戦的である必要があるのか 「勝利」することよりも、フロンティアをリードすることがなぜ重要なのか Anthropic がコーディングをどのように突破したか なぜカルチャーは永続的な堀ではなく、脆いものなのか なぜ Anthropic にとって苦難はバグではなく機能だったのか なぜ Anthropic の P0（優先事項）は初日からコーディングであったのか Periodic Labs、物理法則を制約として、そして技術的現実 シリコンバレーの傭兵たち、宣教師的なチーム、そしてブレイクスルー後に何が起きるか Anjney Midha LinkedIn: https://www.linkedin.com/in/anjney X: https://x.com/AnjneyMidha AMP PBC Website: https://amppublic.com/ X: https://x.com/amppublic タイムスタンプ 00:00:00 イントロダクション 00:00:09 なぜ AI 計算リソースが浪費されているのか 00:03:17 責任あるインフラとデータセンターへの反発 00:06:07 AMP Grid: FLOPs をメガワットのように流す 00:12:41 Foundry, Frontier Labs, and Research Hoarding 00:14:42 Gigawatt-Scale Compute and End-of-Life Prediction 00:24:08 Frontier Systems, Output Maxing, and Alignment 00:27:38 Compute Markets, SF Compute, and Non-NVIDIA Chips 00:32:57 Trust Boundaries, Co-Design, and Researcher CEOs 00:38:17 AI Coachella and First-Principles Thinking 00:42:43 Leading vs Winning in Frontier AI 00:45:54 How Anthropic Cracked Coding 00:48:25 Culture, Hardship, and Anthropic's P0 00:54:03 Periodic Labs, Physics, and Silicon Valley Mercenaries 00:56:26 Rishi Valley, Singapore, and Money as a Measure 00:58:47 Closing Thoughts Transcript Introduction: Anjney Midha, AMP, and Compute Waste Swyx [00:00:00]: We're in Periodic Labs with Anjney Midha, CEO, founder of AMP. Welcome. Compute Utilization: Node Allocation, MFU, and Alignment Anjney [00:00:09]: Thanks for having me. At Google, there are two types of utilization usually, right? That you're measuring in these clusters. One is node allocation, and then the other's MFU. Node utilization is usually like what percentage of cards in the data center are just, used, and that, if it's not at, 95%- Swyx [00:00:29]: There is no excuse Anjney [00:00:29]: 言い訳はできませんよね。私の共同創業者である Seb が出身した Google では、彼は Borg や PBorg/GQM スケジューラを構築しましたが、そこでは 95% の稼働率が停止（アウトエージ）とみなされていました。つまり、ノード利用率が 96% に達することは標準であるべきです。しかし、多くのシングルテナントクラスタはそれ未満で稼働しています。これが一つ目のポイントです。次に、MFU（モデルファーストユーティリティ）については、現在のベストインクラスは 60% から 70% の間にあると考えられます。これは本質的にリーダーシップの問題であり、根本的にはアライメント（整合性）の問題です。つまり、クラスタに資金を提供する側と、実際にクラスタをデプロイする側が本当に一致しているかという問題です。理論上は一致しているように見えても、実際には、資本から始まり、クラスタ管理担当者、そして出力を測定する担当者に至るまでのサプライチェーン（供給網）における関係者の数があまりにも多く、分離の度合いが大きすぎて、 Swyx [00:01:33]: 広がっていきます。 Anjney [00:01:34]: それは広がりますよね？あるいはスケールした状態で。私が考えているのは、多くのクラスター実装やインフラストラクチャー、そしてフロンティアラボや他のチームにおいて起きていることです。彼らは計画を初期化しますが、これは「北極星」のようなもので、良いことをしたいというチームが持つものです。しかし、反復的なアプローチではなく、非常に速いスピードでスケールすることを要求されるため、スケールの段階で無駄が生じ、それが急速に複合的に積み重なってしまいます。そこで私が考える答えは、単に反復的な立ち上げを行うことです。半導体業界や DSN（データストレージネットワーク）業界で長年働いている人々と時間を過ごせば、これは新しいことではないことがわかります。AI がその理由になるべきだと私は思いません。もちろん。何が新しいのでしょうか？はい。私たちは多くの新たな能力を手に入れましたが、それが常識を捨てることを意味するわけではありません。常識は常に時代遅れになってはいけません。AI のスケールは、むしろ逆で、実際には、AI スケールは常識の価値とインフラストラクチャーの重要性にプレミアムをつけるべきです。なぜなら、現在の誤差の許容範囲が非常に狭く、無駄のコストがあまりにも高くなっているからです。ちなみに、無駄のコストは経済的なものだけではありません。私はもちろん、投資家としての背景を持っています。ここ数年、AI インフラストラクチャー事業である AMP を運営しています。この時期は能力面では異なると言えるかもしれません。私たちは以前にない種類の能力を本当に手に入れています。しかし、それが「今回はすべてが異なる」と言うための言い訳にはなりません。特にインフラストラクチャーについてはです。さて、私はハッカーの思考や hustler（努力家）の思考を愛しています。それはスタートアップの思考にとっては素晴らしいことです。しかし、Zuck が「速く動いて、ものを壊せ」から「速く-」へと発言を変えたあの瞬間を覚えておいてください。 責任あるインフラとデータセンターへの反発 Swyx [00:03:10]: 高速かつ安定したインフラ Anjney [00:03:11]: 安定したインフラで迅速に動く。今こそ、責任あるインフラで迅速に動く必要があると思います。人々はその影響がどこにあるのかを問うようになるでしょう。昨日のクラスで、General Matter の創設者である Scott Nolan がスタンフォード大学を訪れ、エネルギーのボトルネックについて講演しました。彼は画期的なアイデアを持っていました。「計算処理 1 時間あたりの限界単位経済性を考えてみてください」と彼は言います。「例えば 1 時間あたり 4 ドルだとしましょう。新しいコミュニティに新たなデータセンターを建設しなければならない場合、なぜ 1 時間あたり 4.50 ドルと定め、その限界影響、つまり限界増加分をそのまま現金として地域コミュニティに還元しないのですか？」計算処理の顧客としてお伝えしますが、私はそれを歓迎します。スケーリングされた規模で 1 時間あたり追加 50 セントを支払うことにも満足するでしょう。 Swyx [00:03:57]: すごいね。そうだね。 Anjney [00:03:58]: なぜなら、それがデータセンターが建設されるコミュニティにとって公共の利益が明白であるならば、私はその計算処理をより信頼できるものと感じるからです。私の理解では、今年アメリカ国内のすべてのデータセンターのうち最大 20% がリスクにさらされています。 Swyx [00:04:13]: コミュニティからの反発によるものですか？ Anjney [00:04:14]: はい、その通りです。必要なコミュニティの支援を得られずに建設が進められないというリスクのことです。 Swyx [00:04:19]: すごい数字ですね。 Anjney [00:04:20]: はい。さて、その数値の中身について掘り下げるべきだと思います。私は、この数字は少し過大評価されているように思えます。こうした事象は過剰に報告されがちですが、しかし- Swyx [00:04:27]: 彼らは単に雇用に関心があるだけではありません。それを取り巻く他のすべてのことにも関心がありますよね。電力網や環境などにも関心を持っているのです- Anjney [00:04:33]: 電力網、許認可などについてです。もし「新しい AI データセンターがあなたのコミュニティに建設される」と言われたら、その結果として電気料金の負担が軽減されると想像してみてください。そうすれば、「なるほど、これは取引になるな」という話になりますよね。地域社会も「よし、これでパートナーシップだ」と感じるはずです。しかし現状ではそれが実現されていません。監査が行われ、調査も行われます。規制当局がいつ来るかは分かりませんが、AI の進展の名の下にスピードを優先し、既存の枠組みを壊す人々は準備を整えておく必要があります。それが我们现在のコンピューティング資源の調達方法ではありません。あるいは、私たちは長期的な実績を持つパートナーとできるだけ協力しようとしています。その多くは、実は AI プロバイダーではないのです。私は「ニュークラウド」という概念が何らかの新カテゴリであるという考え方は、多くのマーケティング用語に過ぎないと思います。アメリカには 20 年以上の歴史を持つ、非常に信頼できるデータセンタープロバイダーが存在します。私は彼らを愛しています。彼らはその方法を知っています。さて、NeurIPS でハッピーアワーのスポンサーになっているでしょうか？いいえ。Build に明確に記載されているでしょうか？いいえ。私の状況認識の集まりに参加しているでしょうか？いいえ。しかし彼らは大人です。私は彼らを信頼します。 Swyx [00:05:44]: 彼らは LAN を運用できますし、電力供給も管理できます。 Anjney [00:05:45]: LAN、電力、シェルを運用できます。信用履歴も持っています。私たちは座って対話をします。彼らの多くはシリコンバレーに住んでいます。彼らはインターネットの好況と不況のサイクルに対処してきており、私はそうした人々を愛しています。彼らは安定したインフラストラクチャのパートナーであり、思考者です。そして、計算層では短期的な思考が横行しており、それがやがて私たちに跳ね返ってくるでしょう。それは良いことにはなりません。 AMP Grid: FLOPs をメガワットのように流す Swyx [00:06:07]: インセンティブの整合性についてお話しになりましたが、インセンティブを整合させるということは、フルスタックを一つの企業にまとめることを意味すると私は考えます。それは xAI や OpenAI のようなケースですね。では、スタンドアロンのインフラストラクチャ層であるあなたが、なぜ全体を所有している人々よりもポートフォリオ企業とより整合性が高いと言えるのでしょうか？ Anjney [00:06:28]: システム設計において、アーキテクチャには二つのレジーム（体制）があります。一つは統合であり、もう一つはプール化と利用率向上です。むしろ、利用率を高める方法は、プロセスを一つのノードに集約するシステム統合を行うか、あるいはあるプロセスをノードから切り離し、それを複数の異なるノード間で共有することです。そして私たちが構築している AMP グリッド（計算グリッド）がまさにそれであり、これは電力グリッドが行っていることを計算領域で行おうとしているのです。 Swyx [00:07:02]: 電力 Anjney [00:07:02]: はい、電力網が電気に対して果たした役割と同じです。これはクラウド間におけるプール化と利用のレイヤーであり、私たちはフルスタック統合アプローチとは正反対の立場にあります。 Swyx [00:07:12]: 非常に水平方向ですね。 Anjney [00:07:13]: ここでは、はるかに水平方向の構造であり、マルチクラウドかつマルチシリコンです。目標は、FLOPs（浮動小数点演算数）がメガワットのように流れるようにすることですが、多くの理由から今日これを達成するのは非常に困難です。計算リソースの遊休プールが至るところに存在し、相互交換性がありません。そのため、現在はスケジューリングレベルで対応しており、経済層でも頻繁に対応しています。しかし、私たちが取り組んでいる内容を発表し始めると、驚くべきことに多くの人が「実は、このスタックの一部と別の部分で計算リソースの相互交換性を実現する方法に取り組んでいます」と言い始めています。グリッドとして、私たちはこれらの人々がすべてグリッドに参加することを望んでいます。多くの人から「アンジュニー、あなたは新しいクラウドですか？」と尋ねられますが、「いいえ、実際にはニュークラウドはサプライヤーです」と答えます。また、「ベンチャーキャピタル会社ですか？」と聞かれることもあります。「いいえ、彼らは需要側であり、グリッドのオフテーカーのようなものです」と答えています。私たちは「独立系統運用者（ISO: Independent System Operator）」と呼ばれる存在だと考えています。もし電力グリッドの歴史を研究すれば、多くの工場や産業参加者が、プール化が有効なアイデアであることを理解し始めたとき、各家庭に発電機を半分の容量で稼働させるのではなく、発電機をプールすべきだという結論に至ったことがわかります。これらの当事者（送電線、発電施設、送電線、工場など）を調整できる独立した組織が必要でした。そして、この中立的な調整メカニズムが非常に重要なのです。もしグリッドの歴史を研究すれば、最も持続可能なものは、自らの資産を所有していなかったものです。それらは、特定の町にある競合しない鉄鋼工場や靴工場など、需要源として相関のない長期的なアンカー（基盤）を持っていたか、あるいはそのようなものから始まったものでした。鉄鋼工場は夜間に需要が急増し、靴工場は昼間に需要が急増するといった状況です。そこでプールして共有します。各社は一定のベースロードを保障されますが、町全体のピーク利用率を最大化するために、それぞれのピーク需要をスケジュール調整します。歴史的な黄金基準と言えるのは、アメリカ北東部のPJM Interconnectのような電力会社で、長年の年月をかけて「独立系統運用者（ISO）」と呼ばれる存在へと進化しました。これが私たちの自己認識です。経済的にはまさにその通りです。技術的観点からは、スケジューリング層から始めました。ここでエンジニアリングを率いるSebとMihaiが、このレイヤーを構築したからです。 Swyx [00:09:28]: スケジューリングはどのように行いましたか？ Anjney [00:09:28]: Google でそのようにしていました。そして、- Swyx [00:09:32]: Discord にもインフラチームがありますよね。 Anjney [00:09:35]: はい、一部あります。 Swyx [00:09:35]: 分かりませんが、Discord が主要なアイデンティティとして機能しているのかどうかは不明ですが、とにかく- Anjney [00:09:39]: いいえ、D-Discord は- Swyx [00:09:40]: 有名な名前を選ぶことでした。 Anjney [00:09:42]: はい、そこで私は開発者プラットフォームを担当していました。内部インフラについては責任を持っていませんでした。それは実際、マーク・スミスという名前の人物が担当しており、彼は非常に卓越した方でした。はい、Discord はプール化されていました。つまり、Discord は実際には逆の事例です。そこではフルスタックのインフラについて多くを学ぶ機会がありました。なぜなら- Swyx [00:09:56]: 同じことですね、はい。 Anjney [00:09:57]: それは、Discord が独自の WebRTC（Web Real-Time Communication）音声およびビデオインフラを構築したという別のアーキテクチャです。つまり、Discord は- Swyx [00:10:08]: 通話のためにですね、はい。 Anjney [00:10:09]: はい、通信にはサードパーティのインフラ（外部インフラ）を使用しませんでした。すべて社内開発でした。そして、利用率を最大化する方法は、世界中の月間アクティブユーザーが 2 億人以上いるゲーマーからの需要をプールすることです。そうして、これらのスタックが構築されました。システム設計において再び繰り返し登場する 2 つの概念は、抽象化（abstraction）と合成（composition）です。そして- Swyx [00:10:31]: バンドル化とアンバンドル化 Anjney [00:10:33]: バンドル化とアンバンドル化、抽象化、コンポジション、垂直統合や- Swyx [00:10:36]: 水平化 Anjney [00:10:36]: 水平化ですね。つまりその観点から、AMP はグリッドの独立したシステムオペレーターです。私たちは信頼できる多数のパートナーから需要と供給をプールします。4 年間で約 1.3 ギガワットの規模でです。そして、世界有数の研究機関などからの需要もプールしています。私たちが相手としているのは、極めて長期的な需要を必要とする定期的なラボたちです。そのアイデアは、各ラボがグリッド上でベースロード（基幹負荷）を保証される一方で、計算リソースについては必要な場合に短期間で柔軟に増減できることです。これが私が a16z で考案した「Oxygen」というプログラムの設計の概略でした。同じく、Mihai と Seb が構築した Google における GQM、BorgX、および Borg の GQM 実装でも同様の設計が採用されていました。これは、Google 内のチームが社内インフラ上でベースワークロードに対して容量を保証される一方で、研究のために需要を急増させる必要がある場合にも、それが十分に確保されていることをどうやって保証するかという問いに対する答えでした。もちろん、このインフラ分野において約 3〜4 年前に Google で実装された（発見されたのではなく）画期的なアイデアは、「中断可能な需要」の概念です。つまり、多数のジョブをキューに積み、この一種のクレジットシステムを通じて入札メカニズムを機能させるというものです。 Swyx [00:11:53]: 優先度のようなものですね。 Anjney [00:11:54]: 要するに、これは動的な優先順位付けです。ある人が「このジョブに 10 トークン、10 クレジットを使いたい」と言うことで、他の誰かがそのジョブを中断させる可能性があります。別のチームリードや研究リードが、「Genie 3 やその他はわずか 5 クレジットの価値しかないが、NanoBanana2 は 10 クレジットの価値がある」と言う場合、NanoBanana のジョブに優先順位が与えられます。これは架空の例です。 Swyx [00

出力最大化の教授——アンジニー・ミドハ氏（AMP）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト