ローカルマックス（3 分読了）

AI推論への需要が爆発的に増加する中、私の小さなコンピュータにはこれまで以上に多くのことを求めようとしています。

どれほど多くでしょうか？

過去5週間にわたり、ローカルモデルを使用して、クラウド上のトリリオンパラメータモデルなしで日常業務のどの程度を達成できるかを実験しました。その答えは半分です。

Category

Count

% of Total

Example

Other

521

35.3%

Catch-all for unstructured requests

Scheduling

254

17.2%

Check availability, propose meeting times

Market Research

192

13.0%

Competitor analysis, fundraising data

Summarization

184

12.4%

Transcript review, video summaries

Email & Inbound

170

11.5%

Draft replies, follow-ups, forwards

Engineering

147

9.9%

Debug scripts, API fixes, CLI tasks

Admin

10

0.7%

Travel, expenses, reimbursements

もしこれらの 1,400 タスクをカテゴリ別に分類すると、半数はローカルの 35B モデルでも成功します。メール・インバウンド、スケジュール調整、要約、および管理業務の合計は 618 タスク（41.8%）です。市場調査とエンジニアリングは、単純なタスク（データ検索、スクリプト修正など）と複雑なタスク（複数ソースからの合成、アーキテクチャ決定など）の間でほぼ半々ずつに分かれています。これで 50% に達します。

ローカルモデルを使用する理由は数多くあります：プライバシー、コスト、資産の減価償却1。

しかし現実には、本当に重要なのはレイテンシだけです。

今朝、対照的なベンチマークを行いました。8 つのエージェントタスクで、同じプロンプトを使用し、両方のモデルをウォームアップ状態にしました。MacBook Pro M5 上の Qwen 3.6 35B-A3B-4bit と、API を経由した Claude Opus 4.5 の比較です。

ローカルモデルの方が賢いわけではありません。Opus 4.5 は推論ベンチマークで約 20% 高いスコアを示します。ローカルモデルは最前線より 3〜4 ヶ月遅れています。大規模で複雑なタスクにおいては、この差が重要になります。しかし、日常的なエージェントタスクにおいては、ほとんど問題になりません。

構造と洗練さでは Opus が勝利します：箇条書き、見出し、よりクリーンなコードなどです。一方、Qwen は簡潔さで勝ります。多くの場合、トークン数は半分です。私はすべての出力を並べて読みましたが、両方ともタスクを正しく完了しました。出力が別のシステムにフィードされるエージェントタスクにおいては、簡潔さは機能となります。

Localmaxxing（推論をローカルモデルへより多く移行させること）は、tokenmaxxing に対する不可避な対応です。ローカルモデルが改善され、最前線との差を縮めるにつれて、より多くのユーザーがワークロードを自社のハードウェアへシフトしていくでしょう。

私のラップトップ上で作業の半分が2倍速く実行されるなら、私はそのトレードを毎回選びます。私の小さなコンピュータは、まさにその価値を発揮しようとしています。

• MacBook Pro は使用していなくても減価償却します。ローカル推論を実行することは、売却前に沈みゆく資産から計算リソースの価値を引き出すことです。 ↩︎