AI が 3200 億パラメータを備えるも、その大半は未使用

AI の常識を覆す「3200 億パラメータの 95% は使わない」技術が、高性能モデルを家庭で動かす時代へ

中国のモデル開発チームが公開した最新大規模言語モデル「GLM-5.3 Flash」は、3200 億ものパラメータを持ちながら、トークン生成時にその 95% を非活性化させる画期的な技術を採用しています。これにより、計算コストを劇的に下げつつも Fable に匹敵する性能を実現し、オープンウェイトモデルの民主化に新たな転換点をもたらしました。

95% のパラメータを「眠らせる」ことで高性能を実現

GLM-5.3 Flash が持つ最大の驚きは、その巨大な規模と実際の計算リソース使用量のギャップです。このモデルは約 3200 億のパラメータを備えていますが、トークンを生成する際、実際に使われるのは全体のわずか 5% に過ぎません。

「3200 億パラメータのうち、約 95% はトークン生成時に非活性化され、計算リソースを節約している」

以前は 92 層あったレイヤー数もほぼ半分にカットされており、余分な計算を排除することで、少ない計算資源でより多くの知能を引き出しています。これは「Cramming more intelligence into less compute（少ない計算資源に更多の知能を詰め込む）」というアプローチの典型例です。

線形アテンションとインデックスプールがもたらす効率革命

このモデルがなぜこれほど効率的なのか、その背景には二つの新技術があります。一つは「線形アテンション（Linear Attention）」です。

従来のアテンションでは、すべてのトークンを他のすべてのトークンと比較する必要がありましたが、この技術は近傍のコンテキストを小さなパッケージに要約します。これにより、スパースアテンションよりも圧倒的に安価な計算が可能になります。

もう一つが「インデックスプール（Index Pool）」です。長い会話や膨大なドキュメント、大規模なコードベースを扱う際、過去の文脈を検索するのは通常、非常にコストがかかります。しかし、この技術は保存されたコンテキストのインデックスを圧縮してから検索を行うため、モデルはより遠くの情報を参照しながらも、メモリと計算量を大幅に削減できます。

「近傍コンテキストの要約や、大規模な文書・コードベースに対する効率的な検索を実現する新技術を採用している」

これらの技術を組み合わせることで、GLM-5.3 Flash は「速く、賢く、安価に」動作するように設計されています。

ベンチマークで Fable に迫る性能と年内の逆転の可能性

この効率化がもたらした結果は、ベンチマークでの驚異的なパフォーマンスです。モデルに思考時間を設けることで、一部のテスト項目では「Fable」と呼ばれる最高水準のモデルに肉薄する結果を出しています。

話者は、現時点で一般論として Fable に匹敵すると断言するのは早計だとしつつも、特定の条件下での性能は非常に近いと評価します。そして、最も注目すべき点は今後の展望です。

「年内の数ヶ月以内に、無料の AI システムが Fable を上回る可能性すら示唆される」

これは、高性能な AI が依然として高額なリソースを必要とするという常識に、オープンソースコミュニティが挑戦し始めていることを意味しています。

ハードウェアの壁と、オープンウェイトによる民主化

もちろん、この技術にはまだ課題もあります。GLM-5.3 Flash をフルスペックで動作させるには、数千ドル規模の高性能な GPU が必要です。家庭環境ですべてを完結させるのは依然としてハードルが高いのが実情です。

しかし、このモデルが「オープンウェイト（重みパラメータが公開されている）」である点が大きな強みとなります。開発者や研究者は、圧縮版や量子化された軽量バージョンを利用することで、より身近な環境でも実験が可能です。また、Lambda などのクラウドサービスを活用すれば、手軽に高性能 GPU を借りて推論や微調整を行うこともできます。

「高性能な GPU が必要だが、オープンウェイトであり、圧縮版や Lambda などのクラウド利用で実験が可能である」

この技術は、大規模モデルの推論コストを劇的に削減し、高性能な AI エージェントや開発ツールをより広範な環境で利用可能にする可能性を示しています。業界全体として計算リソースの効率化が競争優位性の鍵となる中で、オープンウェイトかつ高効率なモデルの登場は、AI インフラの民主化と開発スピードの加速に寄与するでしょう。

まとめ

GLM-5.3 Flash は、「パラメータの数＝性能」という古い概念を覆し、いかに効率的に計算資源を使うかが次世代 AI の鍵であることを示しました。ハードウェアの壁はまだ残っていますが、オープンソースコミュニティとの協働によって、高性能な AI を誰もが使える時代が急速に近づいています。