AI に依存しない状態を目指す旅（23 分読了）

数週間前、GitHub は Copilot が従量課金制に移行すると発表しました。今後は一律のサブスクリプションはなくなり、使用したトークン分に対して全員が支払いを行う必要があります。

無料枠や個人プランで Copilot を利用していた方（私のように、アクティブなオープンソース貢献者に対する特典として利用していたケースなど）にとっては、これは痛手となるでしょう。このサブスクリプションは、特定の契約に縛られることなく、あらゆる新モデルをテストできる完璧な方法であり、極めて寛容な月間クォータを提供していました。私は、Anthropic のサブスクリプションよりも高いクォータで Sonnet や Opus にアクセスできるため、GitHub Copilot のサブスクリプションを購入する人が多くいることを知っています。そこで当然の疑問は、なぜこれほど安価だったのか？ です。

答えは明らかに寛大さではありません。AI ラボや大手テック企業が、プラットフォームがオンボーディングを支援するのと同じ理由でトークンコストを補助していることはよく知られています：価値を引き出し、競合他社を打ち負かす前に依存関係を構築するためです。すべての安価な API 呼び出しは、トレーニングデータポイントでもあります。あなたのサービスの周りにラップしたワークフローは、彼らがあなたのために蓄積しているスイッチングコストです。GitHub Copilot の月額10ドルという価格は、おそらく Claude Code や Codex といったより人気のある製品の場合と同様に、持続可能な製品ではありませんでした。これはサブスクリプションとして着飾った土地の奪取行為でした。これらの AI サブスクリプションのユーザーあたりのコスト（少なくともそれを負担できる資金力のある企業からは）は、そのサブスクリプション価格を大幅に上回っています。

私の最も忠実な読者たちは、私がすでに AI の経済性についてある程度懸念を抱いていることを知っています。この投稿 で、私は「AI バブルはバブルというより罠である」と考える理由や、企業が日常のワークフローにおける AI の採用を加速させることで、彼らが利用可能な依存関係を構築しようとしている方法についてすでに論じました。昨年終わりにこれに気づいたとき、私は大手トークン請求書や減少するトークン制限を持つサブスクリプションからの依存を最小化し始めるために、ローカル推論（local inference）を実行できるハードウェアを購入し始めたことを決意しました。

私の旅は、Strix Halo チップ、つまり Ryzen AI Max+ から始まりました。これが私の日常の主力マシンとなり、最大 128GB の統合メモリを提供しています。このマシンを使えば、Qwen3.6-27B や Gemma 4 をローカルで快適に実行でき、LLM（大規模言語モデル）を活用したバックグラウンドタスクを処理できます。具体的には、メールやカレンダーの要約、会議議事録の作成、テキスト読み上げ（TTS: Text-to-Speech）などです。これらは高速なフィードバックループや巨大なコンテキストを必要とせず、常時バックグラウンドで実行できるようなアシスタントや自動化ワークに該当します。このようにすることで、AI 利用料金の増加を防ぎ、より複雑なエージェントタスク（agentic tasks）にどうしても必要なトークン枠を無駄遣いすることから守ることができます。

このようなユースケースにはこの構成が十分機能しますが、ゲームのレベルアップを図り、エージェントがローカルモデルに完全に依存させたい場合には非常に煩わしいことが示されています。その核心的な問題はスループットです。モデルがメモリ内に収まっていたとしても、大規模なコンテキストを必要とするアプリケーションや、厳密なフィードバックループ（例えばエージェントによるコーディング）、自動研究タスク、リアルタイムのツール呼び出し、あるいは OpenClaw や Hermes エージェントの実行などをサポートしようとした瞬間に、体験を耐えうるものにするために必要な 1 秒あたりのトークン数（tokens per second）がまだ不足しています。

幸いにも、このギャップは解決可能ですが、今日では数千ドルの費用がかかる可能性があります。したがって、ハードウェアに数「K」を費やす前に、必要なものを得られるセットアップについて本当に確信を持ち、理解しておく必要がありました。この投稿は、私の発見したすべての内容に関する公開報告です。

しかし、ハードウェアの詳細に入る前に、「推論（inference）」が実際に何を必要とするのかを振り返っておく価値があります。なぜなら、重要となる具体的なハードウェア要件や、それがユーザーエクスペリエンスにどう影響するかは、多くの人が直感的に考えるものとは異なる可能性があるからです。

推論において関与する主なリソースは3つあります：メモリ容量（モデルが収まるかどうか）、メモリ帯域幅（重みとキャッシュが計算ユニットへストリーミングされる速度）、そして生来の計算能力（これらのユニットが数学的処理を行う速度）です。 多くの人は後者の第三点に注目しますが、ボトルネックとなるのはほとんど常に第二点のメモリ帯域幅です。

その理由は以下の通りです。大規模言語モデル（LLM）は、自己回帰的に1トークンずつテキストを生成します。各トークンを生成するには、モデルの重みの大きな断片をメモリから処理ユニットへ読み込む必要があります。重み自体は変化しません（学習しているのではなく、読み取っているだけだからです）。つまり、問われるべきは「このチップがどれだけのFLOPS（浮動小数点演算回数）を処理できるか」ではなく、「メモリからデータをどの速さでストリーミングできるか」という点です。重要なのは、GB/s（毎秒ギガバイト）で測定されるこのメモリ帯域幅なのです。

直感を養うための参考数値をいくつかお伝えします。VRAM が 8GB の RTX 3070 は、メモリ帯域幅が 448 GB/s です。一方、同じく VRAM 8GB を搭載するより新しい RTX 4060 Ti では、その値は 288 GB/s に低下しています。推論スループットにおいては、古くて安価な 3070 の方が、モデルを収容できる限りにおいて推論速度が速い場合があります。これは実際に測定されているものが何かを理解するまでは直感に反するように思えます。Apple はこの点を早くから理解しており（偶然の産物ではありましたが）、M シリーズチップにおけるユニファイドメモリアーキテクチャ（unified memory architecture）によって、CPU、GPU、Neural Engine がバスをまたぐことなく単一の高性能帯域プールを共有する構造が、まさにこのようなワークロードに対してほぼ最適であることが判明しました。これが M チップを搭載した Apple デバイスが推論に極めて優れている理由です。私は数週間前に、なぜ AI の敗者がこうなるか について記事を書きました。

理解しておくべきもう一つのボトルネックは KV キャッシュです。モデルが長い会話やコードの文脈を処理する際、これまでに遭遇したすべてのトークンについて、各アテンション層からのキーベクトルとバリューベクトルをキャッシュします。そうすることで、これらの値を再計算する必要がなくなるのです。このキャッシュ量は文脈長に応じて増加します。FlashAttention を有効にした状態で 20 万トークンの場合、約 2GB となり、管理可能な範囲です。しかし最適化を行わない場合、モデルの重みさえ読み込まれる前に、長い文脈が VRAM の大半を食い尽くしてしまいます。Qwen3.6のような新しいアーキテクチャはこの課題に直接対応しています：40 層あるモデルのうち、フル KV キャッシュを使用するのはわずか 10 層のみです。つまり、文脈長を 4k から 65k に拡張しても、VRAM の使用量は数ギガバイトではなく約 800MB の増加で済みます。FlashAttentionやKV cacheといったアーキテクチャ上の判断こそが、「モデルにどれだけの VRAM が必要か」という問いが、単なるパラメータ数の問題ではなく、実行するモデルの種類に依存するようになっている理由です。トランスフォーマーと KV キャッシュの仕組みについてさらに深く知りたい場合は、外部への参照リンク付きで簡易な概要をこちらの投稿でも共有しています こちら。

これは、特にエージェント型作業において何を意味するのでしょうか？チャットボットの場合よりも、トークン速度（tok/s）が重要になります。エージェントがループを実行している間（ツールの呼び出し、出力の解析、次のステップの決定）、レイテンシは累積します。5 トークン/秒では、ループの反復間に数秒待たされることになります。 40 トークン/秒であれば、ループは一瞬で完了したように感じられます。 有用なコーディングエージェントと、すぐに諦めてしまうものの違いは、しばしばこの狭い範囲にあります。これが、私が現在のセットアップで感じている痛みです。これらの半分の百（約50）トークン/秒こそが、次のセットアップで目指す目標です。

私はこの件について長く深く検討し、私の考えの多くは 0xSero 氏による現在の市場の詳細な分析と、彼が公に共有し続けるすべての実験によって形作られてきました。*(もしあなたがまだ彼をフォローしていない場合で、ローカル推論に興味があるなら、今すぐフォローすることを強くお勧めします。そして 0xSero さん、もしあなたがこれを読んでくれたなら、オープンソース AI およびローカル推論コミュニティのために貢献してくださり、素晴らしい成果を残してくださったことに、感謝の言葉では足りないほどです)*。以下は、2026 年半ば時点での選択肢を要約したものです。これは 0xSero 氏の分析とベンチマークに基づき、私の独自の研究も加味し、エンドツーエンドの推論マシン（inference machine）の予算を概ね1 万ドル以下に抑えた場合のものです。

実際のビルドを共有する前に、前セクションからの高レベルなハードウェア数値を示す要約表を以下に示します。念のため、メモリ容量はどのモデルが動作するかを、メモリ帯域幅はどれほど高速に動作するかを示します。以下の表ではそれらを並列して配置し、実際に重要な指標に対するトレードオフを読み取れるようにしています。

この枠組みに基づき、各項目の詳細を以下に示します。

*出典：0xSero*

最もクリーンな選択肢です。Apple Silicon のユニファイドメモリアーキテクチャ（CPU、GPU、Neural Engine が単一の高性能メモリプールを共有）は、推論においてほぼ理想的であることが判明しました。バス間のクロッシングも転送オーバーヘッドもありません。MLX はここ数ヶ月で著しく成熟し（私はこちらで記述した通り）、同等のタスクにおいて Nvidia 3090 のスループットに近づいています。ピーク時 400W で、マシン全体が単一のオーバークロックされた 3090 よりも少ない電力しか消費しません。

最大の利点は容量です。512GB の使用可能メモリにより、極端な量子化なしで Kimi-K2、Deepseek、Minimax-M2 をフルコンテキストで実行できます。これらを 2 台ネットワーク接続すれば 1TB に達し、これは Nvidia では 50,000 ドルを超えるコストがかかるものです。この場合のスケーリングは非常にクリーンです。追加される各マシンは、Thunderbolt/Ethernet で接続された独自のソフトウェアスタックを持つ、独立した自己完結型ユニットとなります。

ここで鍵となる制限は、CUDA サポートの欠如です。vLLM や SGLang といった推論エコシステム内の多くのツール、およびトレーニングやファインチューニングのスタックは、すべて CUDA を前提としています。MLX は優れており、さらに改善されつつありますが、その成熟度はまだ CUDA に遠く及びません。もし推論用マシン上でファインチューニングやトレーニングも実行したいのであれば、これは最良の解決策ではないかもしれません。しかし、推論用途であれば？それは素晴らしいです！

これがパワーユーザー向けオプションであり、最も多くの組み立て作業を要するものです。 このための事前構築版は存在せず、部品からワークステーションを自作することになります。必要な部品のリストはおおよそ以下のようになります：PCIe スロットが少なくとも 8 つあるサーバーグレードのマザーボード（Gigabyte MZ32-AR0 や Supermicro の同等品など、800〜1,200 ドル）、サーバー用ケースまたはオープンエアのマイニングフレーム（200〜400 ドル）、2,000W 以上の PSU またはデュアル PSU 構成（400〜600 ドル）、MoE のオフロード用に 256GB の DDR5 システム RAM（400 ドル）、そして中古で 1 枚あたり約 800〜1,000 ドルの RTX 3090 を 8 枚。合計：注意深く購入すれば 9,000〜12,000 ドル、そうでなければそれ以上です（*いつも私の場合は後者ですが :)）*。これには週末を費やすことになります。その後、NVLink ブリッジとドライバ設定にさらに週末を要します。

その見返りとして得られるものは？ 192GB の VRAM と 936 GB/s の集帯域幅です。 これはリスト内の密結合モデル向けで最速のスループットです。フル CUDA サポートにより、vLLM、SGLang、およびエコシステムが提供するその他のあらゆるツールを利用可能です。成熟したエコシステムと、トレーニングやファインチューニングも可能なマシンを手に入れることができます。

この構成の主な欠点は、フル稼働時にカードのパワーリミットを 50% に制限していてもシステムが 1,500W を消費することです。非常に騒音が大きくなるでしょう。中古の RTX 3090 の市場は逼迫しています。8 枚を超えるスケーリングには電気技師と第 2 のシステムが必要です。これは静かなオフィス用マシンではなく、データセンターレベルに近い本格的なワークステーションとして捉えてください。

ハードウェアや自作マシンに情熱を持つ方にとっては非常に楽しいプロジェクトです。しかし、時間が取れない方には、VRAM の GB あたりの経済性が計算上有利であっても、今回は見送ることをお勧めします。

これは私の Beelink マシンに搭載されているチップです。Framework は 128GB から始まるデスクトップ構成を販売しており、価格は約$3,000 からで、私が持っているものと同様に 128GB 単位で最大 384GB まで拡張可能です。私の機体には 128GB が搭載されており、設定済みの状態で購入でき、組み立てや重労働なしですぐに稼働できます。消費電力は控えめで静かであり、RAM の増設もカードを追加するのではなく、メモリスティックを交換することで実現します。過去 6 ヶ月間連続して稼働させていますが、電気代請求書に異常はありませんでした。

同じチップである Strix Halo は、0xSero によって、Nvidia と比較してメモリあたりのコストを「ありえないほど」引き下げると説明されています。128GB の容量であれば、価格が半分、手間が十分の一で、3090 を四枚使用した場合の性能を超えることができます。Simon Couch は、このクラスのマシン上で日常的なローカルエージェントワークフローがどのようなものかを示す良い記事を執筆しています。そのメモリアーキテクチャは、Apple が採用しているものと原理的に類似しており、統一されたプール、高帯域幅、バスによるペナルティの欠如が特徴です。これが、ソフトウェア上の摩擦があるにもかかわらず推論において競争力を持つ理由です。

ただし、課題として ROCm を使用することになります。AMD のソフトウェアスタックは大幅に改善されましたが、CUDA ベースのワークフローと比較すると設定が必要であり、一部のツールではまだサポートされていません。私は実際に、実行していたカーネルバージョンに対する Strix Halo の ROCm サポートでいくつかの問題に直面し、モデルを Vulkan で実行することを余儀なくされました。パフォーマンスの低下はほとんどありませんが、CUDA のサポートと比較すると、いくつかの手続きを経る必要があります。

供給状況も不安定で、Framework の構成製品はすぐに完売し、待機時間が数週間に及ぶこともあります。水平方向へのスケーリング（複数のマシンをネットワーク接続する）は可能ですが、PCIe スロットにカードを追加する場合よりも多くの作業が必要となりますが、常に接続

小さく始めて、再構築せずにスケールアップしたい人向けの選択肢です。RTX 6000 Blackwell のシングルカードは PCIe カードであり、x16 スロットを備えたあらゆるワークステーションマザーボードに挿入可能です。つまり、マシン本体（CPU、RAM、ケース）は 500〜800 ドル程度の一般的な消費者向けハードウェアで十分です。1 枚のカードは約 7,000〜10,000 ドルで、VRAM を 96GB 提供し、帯域幅は約 1,700 GB/s です。これは 8 枚の RTX 3090 で構成した場合よりも、カードあたりの帯域幅が速いものです。2 枚のカードにすると VRAM は 192GB に倍増しますが、消費電力は 8 枚の RTX 3090 の半分になります。家庭用回路で最大 8 枚まで搭載可能となり、VRAM は 768GB に達します。これは住宅用電源における実質的な上限です。

1GB あたりのコストはこのリストの中で最も高いですが、5 年間のアップグレードパスを購入していることになります。 毎年 1 枚ずつカードを追加し、他の構成はそのまま維持します。新しい筐体も、新しい PSU（電源ユニット）設定も、スタックの再構築も不要です。推論クラスターを段階的に拡張したい人にとって、これは最も整合性の取れたアーキテクチャです（ただし、エントリーレベルのコストはかなり高額です）。

ワイルドカードです。 10,000 ドルで VRAM 480GB が手に入ります。このリストのどこを探しても、この数値に匹敵するものはほとんどありません。vLLM のサポートが現在利用可能になっており、これは実現可能性の状況を大きく変えました。カードあたりの帯域幅は 400 GB/s で、最速ではありません。そのため、高密度モデルにおけるトークン生成速度（tok/s）には制限がかかりますが、スループット要件が低い状態で非常に大規模なモデルを実行する場合、コストパフォーマンス（1GB あたりのコスト）ではこれを超えるものを見つけるのは困難です。

より大きな問題はエコシステムにあります：デバッグには中国語のフォーラムを翻訳する必要があり、GitHub のイシューは数ヶ月間回答が得られないことが多く、米国在住の購入者にとっては輸入手続きも複雑になる可能性があります。

知っておく価値のある情報です。おそらく最初のマシンではないでしょう。

tinygrad チームによる tinybox は、今日入手可能なプラグ・アンド・プレイ推論マシンに最も近いものです。事前組み立て済み、事前設定済みで、Ubuntu 24.04 で出荷され、すでに tinygrad ソフトウェアスタックが稼働しています。

tinybox red v2 は AMD オプションであり、現実的な家庭用推論予算に適したモデルです。4 枚の AMD Radeon RX 9070 XT カード、合計 64GB の GPU メモリ、集約帯域幅 2,560 GB/s、32 コア EPYC CPU、128GB のシステム RAM、そして 2TB の NVMe を、単一の 1,600W サプライエンクロージャーに収め、価格は 12,000 ドルです。帯域幅の観点では、前述の 8×3090 構成を大きく上回っており、組み立ての手間もその一部で済みます。モデルサイズの上限は Nvidia オプションより低く（64GB VRAM は量子化された 70B クラスのモデルを余裕を持って収容可能）、しかし収容可能なモデルのスループットにおいては、帯域幅の数値は本格的なものです。ROCm は AMD ハードウェア全般と同様に適用されますが、tinygrad のスタックはその大半を抽象化しています。

Tinybox Green V2 は完全に異なるカテゴリへと移行しました。現在のバージョンは、4 枚の RTX PRO 6000 Blackwell カードを搭載し、総 VRAM は 384GB、集積帯域幅は 7,168 GB/s、FP16 性能は 3,086 TFLOPS を誇ります。価格は 65,000 ドルで受注生産品であり、設置にはコンクリートスラブが必要です。もはや家庭用推論ボックスではなく、小型データセンターです。存在を知っておく価値はありますが、本稿の範囲には関連しません。

Tinybox Red V2 は、今回の議論におけるリファレンス・プラグ＆プレイオプションです。自作する必要はなく、接続するだけです。ゼロアセンブリ時間のために ROCm（AMD の GPU 計算プラットフォーム）を採用するというトレードオフが妥当に思えるなら、これが現在、箱から出してすぐに動作する推論マシンへの最も明確な道筋です。

これは私の研究における進行中の作業であり、真剣に検討している事項です。同等のハードウェア性能において、Nvidia の GPU は AMD の製品よりも高価格になる傾向があります。

RX 7900 XTX は、RTX 4090 に相当する AMD の製品です：24GB の GDDR6 VRAM、約 960 GB/s のメモリ帯域幅を備え、価格はおよそ 900〜1,000 ドルです。帯域幅の観点では、実際には RTX 4090（約 1,008 GB/s）と互角に戦います。VRAM も同一です。価格が大幅に低いです。8 枚の RX 7900 XTX を組み合わせた構成は、カード単体で約 7,000〜8,000 ドルとなり、コスト面では中古の RTX 3090 構成と同等ですが、より新しいシリコンを採用し、カードあたりの帯域幅も優れています。組立に必要な要件は同じです：サーバーマザーボード、強力な電源ユニット、そしてあなたの週末数日分です。

AMD のシリコンを 4090 のような高価格を支払わずに手に入れたい場合、予算層の選択肢として RX 7900 XT（20GB、約 820 GB/s、新品で約$700）は知っておく価値があります。カードあたりの VRAM が少ないことはモデルサイズの上限が低くなることを意味しますが、マルチカード構成であれば 8 枚で合計 160GB に達することも可能です。

ワークステーション側では、AMD の Radeon PRO W7900（VRAM 48GB、約 864 GB/s、約$3,500）が、長期のワークステーション使用を想定した本格的な VRAM を備えた単一のプロフェッショナルグレードカードである RTX 6000 Blackwell に最も近い AMD 製同等品です。これらを 2 枚使用すれば、容量は RTX 6000 Blackwell 1 枚と同等の 96GB を約$7,000 で実現でき、コスト面で非常に競争力があります。ただし、カードあたりの帯域幅は低く（約 864 GB/s vs 約 1,700 GB/s）、高密度モデルにおけるトークン生成速度（tok/s）にその差が現れます。

ROCm の注意点はこのすべての製品に一律適用されます。vLLM と llama.cpp はどちらも ROCm サポートを持っており、大幅に改善されています。CUDA で動作するワークロードのほとんどは、いくつかの設定上の摩擦はあるものの ROCm でも実行可能です。特に推論（トレーニングとは対照的）においては、1 年前と比べてその差は縮まっています。依然として ROCm を信頼してサポートしていないのは、ファインチューニングやトレーニング用のフレームワークです。純粋な推論が用途であれば、AMD はあらゆる価格帯で正当な選択肢となります。同じハードウェア上でトレーニングやファインチューニングを行いたい場合は、CUDA がまだより安全な選択です。

この分析を終えるにあたり、他者が何を実行しているか気になる方のために、HuggingFace による最近の研究をご紹介します。これは最も人気のあるハードウェアセットアップ上位 100 をまとめたものです。上位 10 のセットアップは以下の通りです:

上記すべてが GPU パラダイム内で動作しています。これが現在の市場の姿です。どこへ向かっているのか、一瞬考える価値があります。なぜなら、最初のセクションで挙げた 3 つの数値（容量、帯域幅、計算能力）は、目的特化型推論ハードウェアが最適化しようとするまさにその要素であり、ローカル推論の風景を根本から変える可能性がある、何らかの意味のある異なるものが到来しているという初期シグナルが存在するからです。

中核的な制約を思い出してください。推論はメモリー帯域幅に依存します。GPU は、行列乗算には一切貢献しないグラフィックス固有のロジック（ラスタライゼーションパイプライン、レンダリングターゲット、ディスプレイコントローラーなど）のために、シリコンの大きな割合を費やしています。これは、目的特化型チップが取り戻す余地のある部分です。

Talos V2 は、私が最近見つけた小規模なオープンハードウェアプロジェクトであり、FPGA ベースの推論ボードを通じてこれを直接的に示しています。Luthira Abeykoon 氏は、Transformer 推論のために特化して Talos を構築し、Apple MacBook との 直接比較ベンチマーク を公開しました。数値はまだ FPGA に有利なものではありませんが、Apple Silicon が生スループットにおいて勝利しています。ただし、そのベンチマークは正直に理由を述べています：FPGA のメモリ帯域幅と容量が依然としてボトルネックとなっており、計算ロジック自体が制限要因ではないということです。これは私たちがこれまで議論してきたのと同じ制約です。このプロジェクトが示しているのは、ハードウェアを Transformer 計算パターンに直接接続すれば、GPU のオーバーヘッドを完全に排除できるという点です。カスタムシリコンで実現可能な下限は、GPU パラダイムが示唆するものよりも低いのです。

このアイデアのより商業的に発展したバージョンは、Taalas です（すでに こちらのニュースレター で取り上げられています）。同社は、グラフィックカードが設計されたパターンではなく、トランスフォーマーが実際に必要とする帯域幅やメモリアクセスのパターンを中心に、ゼロから設計された推論専用アクセラレータを構築しています。また、ウェハスケールチップによりモデル全体を単一のダイ上に配置し、チップ間通信の遅延を排除した Cerebras は、同じロジックの極端な例と言えます：もしメモリア帯域幅とモデル容量が重要であるなら、計算とメモリを一つの構造に融合させることでメモリのボトルネックを完全に除去したらどうなるでしょうか？

これらは今日ではプラグアンドプレイ製品ではありません。Cerebras はデータセンター向けハードウェアであり、Taalas は初期段階です。しかし、その方向性は、汎用から始まり時間とともに専門化されてきた他のすべての計算クラスで起こったことと一致しています：GPU 自体、Apple の Neural Engine、Google の TPUs です。これらのアーキテクチャ上の革新は、最終的には小売市場にも浸透するでしょう（スケーラビリティが確保されるという前提ですが）、適切な価格でローカル推論を実行できる専門化された推論アクセラレータの製造を可能にします（少なくともそれが私の夢です）。

上記の構築における実践的な示唆：「10,000 ドルの消費者向けハードウェアで実行できること」と「クラウド API が提供するもの」の間のギャップは、2 年前よりも急速に縮小しており、今後もその傾向が続きます。MoE（Mixture of Experts）アーキテクチャにより、限られた VRAM で非常に大規模なモデルへのアクセスが可能になっています。Quantisation（量子化）研究（私が今年初めに紹介した TurboQuant の仕事をご覧ください earlier this year）は、能力のあるモデルのメモリフットプリントをさらに圧縮し続けています。Google の最近の Gemma4 向けのマルチトークン予測の改善（これについては追跡記事で詳しく取り上げる予定です）そして最終的には、ホームインフェレンスボックスにふさわしい価格帯で、専用推論チップが登場します。実際に有用なものを動かすために 10,000 ドルのマシンが必要かどうかという問いに対しては、四半期ごとに「いいえ」と答えるスピードが速くなっています。

私はローカル推論の利点や市場がどこへ向かう可能性があるかについて友人や同僚に話す際、いつも以下の比喩を繰り返しています。10 年前、一部の住宅所有者は太陽光パネルの設置を始めました。それは短期的に見て最も安価なエネルギーだったからではなく、実際にはそうではありませんでしたし、回収期間も長かったからです（太陽電池セルは高価でした）。彼らがそれを行ったのは、中央電力網への依存からの独立を望んだからです。そこでは価格が大きく変動し、場所によっては信頼性が低かったり、そもそも存在していなかったりする可能性があります。

AI がますますインフラとしての性格を帯びてくるにつれ、私たちは同じようなトレンドを目撃していると感じています。その証拠として、Nvidia と SPAN は最近、住宅の裏庭に AI データセンターを展開し電気料金を下げるというパートナーシップを発表しました こちら。GPU ノードが家庭用エネルギーシステムに統合されたものです。これが私が私自身にとって本当に必要としているものの一部です。

これらの AI サブスクリプションやトークン課金に依存するのはとても不安になります。私は AI への独立性を望んでいます。すでに自宅に太陽光パネルを設置しましたが、今では自分専用の推論クラスターを持ちたいと考えています。残念ながら、現時点で太陽光パネルのように手頃な価格でプラグアンドプレイの推論システムが得られる完璧なソリューションは見つかっていません。tinygrad などのプロジェクトは近付いていますが、私の必要とするものに対してはまだ少し高価であり（おそらく過剰仕様である）、最適とは言えません。

Framework Desktop は価格と利便性の点ではほぼ完成していますが、ハードウェア要件の面ではまだ完璧ではありません。一方、Mac Ultra は私が求めているものですが、依然として高価です。上記で説明した構成の一部を味わうには、RTX3090 を搭載し拡張可能な小型サーバーに近いものが近いですが、それでもなお、購入リストを作成し、適切なハードウェアを見つけ、場合によってはベンチマークを行う必要があります。

私は次第に確信を深めています。2,000〜5,000 ドルで販売される、完璧に最適化された AI 用プラグ・アンド・プレイ対応の拡張可能な推論ボックス（inference box）に対する市場の隙間があるということです。これにより、必要に応じて推論クラスターを徐々に拡大でき、tok/s（1 秒あたりのトークン数）や実行可能なモデルについて何を期待すべきかを明確に把握できるよう、十分にベンチマークされた製品となります。

私は、市場の隙間を埋めることができる完璧なデバイスを実現するために、自分でこれらの推論ボックス構成の構築とベンチマークを開始することを決意するに至りました。起こりうることは三つあります：

• 数千ドルを実験に費やし、自宅でいじれる有用なハードウェアを手に入れること。
• 完璧なセットアップを見つけ、大規模にこれらの AI 推論ボックスを製造・出荷するために誰かと提携することに成功すること。
• 他の人がコピーして同様のデバイスを提供できる構成を見つけることに成功すること。

これら三つの選択肢のいずれにおいても、私が探している推論ボックスを手に入れることができます。2 と 3 は、類似したニーズを持つ他者の問題も解決するものです。

この取り組みに貢献したい方は、ご意見や提案、あるいは支援を通じてお手伝いください。どんな形でも歓迎します。 これはまだ私が形にしようとしている非常に生々しいアイデアです。私のメールアドレスはご存知ですよね :)

来週まで。