Qwen と GLM が新モデルを相次ぎ公開しベースモデルのボトルネック解消を示す

先週、Kimi K3 の記事で締めくくり、「新たにリリースされた Qwen3.8 と GLM5.3 モデルの改善点を平易な英語で解説する」と約束しました。ところが、この記事を執筆している最中に、Qwen と GLM がそれぞれ新しい Flash モデルも同時にリリースしてしまいました（まさに「AI 独立記念日」ですね）。そのため、今回は予定していたものからさらに一歩進み、3 部構成のシリーズとしてお届けすることになりました。

GLM5.3 や Qwen3.6 を特に評価した点の一つは、アーキテクチャに一切の変更を加えていないことです。

GLM-5.3 は 8 月 14 日にリリースされましたが、ベースは GLM-5.2 と同じ（サイズやパラメータ数も同一）で、追加されたのはわずか 1 ヶ月のポストトレーニングのみです。Z.ai はこのリリースを以下のように要約しています。

*「GLM-5.3 で私たちが行ったことは、ポストトレーニングのスケールアップだけです。」*

これだけで十分でした。たった 1 ヶ月の学習で、同じ基盤となる脳が CyberGym や GDPval のトップランキングに躍り出たのです。

この1ヶ月間のトレーニングを経て、モデルはランキングで最先端のモデルに肉薄し、Kimi K3 などの非常に大きなオープンソースモデルを大幅に上回る結果も出しました。しかし、ここでは私の個人的な体感ベースの評価をお話ししましょう。

ご存知の方も多いかと思いますが、私は GLM のサブスクリプションを契約しています。そのため、リリース直後に早速テストしましたが、これは素晴らしい出来です。GLM5.2 をすでに気に入っていたこともあり、5.2 から 5.3 への進化に大きな変化を感じるとは正直思っていなかったのですが、実際にはその差を明確に実感しました。

なぜそう感じるのか理由は定かではありませんが、処理速度が速く、賢く、かつ要点を突いてくる印象です。これは LLM に対して私が特に重視する点であり、タスクあたりのトークン使用量を減らせるという実利的なメリットもあるからです。

X（旧 Twitter）界隈では、この性能向上の要因として「蒸留」説が囁かれています。つまり、Fable や GPT-Sol などの最先端モデルからの推論トレースを学習データとして用いて訓練したのではないかという見方です。しかし、私には蒸留単体でこれほどの性能向上を説明できるようには思えません。ましてや、大手ラボが自社の推論トレースを厳重に保護している現状を考えると、その可能性はさらに低くなります（この点については別の記事で詳しく触れます）。

では、トレーニングのみでこうした劇的な改善をどう説明すればよいのでしょうか。LLM の異なる学習段階と、タスクに応じて知能の限界まで引き出すための追加ポストトレーニングの可能性について、少し立ち止まって解説しましょう。

LLM のトレーニングにおける最初の段階は、事前学習です。この段階でモデルはインターネットの大幅な部分を（現在は書籍や論文など、異なるデータセットにまとめられた他のソースも）読み込み、次のトークンを予測する能力を身につけます。これによりモデルが獲得するのは「潜在的な能力」と呼ばれるものであり、膨大な量のテキストを読み込むことで Python や C のメモリセマンティクス、適切な英語の書き方といったスキルを習得し、次に来るものを正確に予測できるようになります。

もし事前学習済みモデルに詩や Stack Overflow のスレッドから plausible-looking なバグレポートの作成を依頼すれば、それらはすべてトレーニングコーパスに含まれているため、おそらく良好な結果が得られるでしょう。

この段階は LLM トレーニングの中で最もコストがかかる部分であり、GLM5.3 はこの段階には一切手を付けませんでした（アーキテクチャは同じですが、事前学習は行われていません）。

次に「中間学習（mid-training）」の段階が訪れます。この段階は多くの人が考慮しないことが多いのですが、事前学習済みベースモデルに対して、厳選されたデータや長文コンテキスト拡張、より多くのコード、ドメイン固有のデータセットなどを追加して、事前学習から得られた「潜在的な能力」を特定の領域で少しだけ向上させるために行われる、事前学習と似たプロセスが行われます。GLM5.3 もこの段階には手を付けませんでした。

そして次に「事後学習（post-training）」が訪れます。ここがベースモデルに特定の振る舞い（多くの場合は個性）を与え、特定のタスクを実行可能にする場所です。例えば、私たちが常に要求するエージェント型のタスクなどです。この事後学習フェーズ自体は、3 つの異なる段階に分かれています。

1つ目は教師あり微調整（Supervised fine-tuning）です。ここではモデルに優れた行動のデモンストレーションを示し、それを模倣するように訓練します。ここから「指示への従順さ」「応答フォーマット」「拒否行動」などが生まれます。この学習信号は*他者の出力*に基づいています。つまり、モデルは非常に特定の振る舞いを完璧にコピーすることを学ぶのです。これは蒸留（distillation）によって改善できる部分です。より知能の高いモデルから、特定のタスクにおける膨大な出力や推論の痕跡を取得し、それを教師あり微調整の入力として使用できるからです。

「Preference optimization（RLHF、DPO など）」こそが、GPT-4 の飛躍をもたらした要因です。まるで数十年も前の出来事のように思えるほどですが、この段階では人間が回答のペアを評価し、その評価に基づいて報酬モデルを学習させ、さらにその報酬モデルに対してポリシーを最適化します。ここで得られる信号は、「人間の嗜好を反映した学習された代理指標」に根ざしています。また、出力から嗜好を読み取れるため、この手法は模倣が容易です。場合によっては、蒸留（distillation）を通じて高品質なトレーニングデータセットを構築することも可能です。

そして最後に「検証可能な報酬を用いた強化学習（RLVR）」があります。これは昨年の「街で最も美しい女性」のような存在です。モデルを環境に投入し、数百回の行動を実行させます。その結果得られる報酬は、「何かを実行して計算される」ものです。テストが通るか否か、クラッシュが再現するか否かが明確な判断基準となります。ここで重要なのは、信号が「実行結果」に基づいている点です。RLVR を成功させるには、LLM が学習し理解するための明確な目標と、範囲を限定した環境が必要です。報酬ループを通じて、特定のタスクでのパフォーマンスがどの程度かを評価します。

こうした環境の一つが、OpenAI のモデルによる Hugging Face への攻撃事件（レポートはこちら）につながった要因です。ただし、この話題については別の機会に改めて取り上げましょう。

この最後の段階こそが、GLM5.3 の性能向上を説明する鍵です。z.ai は GLM5.3 において、ポストトレーニングの段階で利用する環境自体を改善することに注力しました。

これまで構築されてきた大半の環境は、コードチェレンジのようなものでした。チェック機能付きの独立したパズルや、解答が巻末にある教科書的な問題が典型例です。一方、GLM5.3 の環境は、z.ai によれば「コーディング演習というよりは、実際の専門家の業務単位に近い」と言えます。中には熟練エンジニアにとって数日分の作業に相当するものも含まれています。

ブログで取り上げられている具体例は ML インフラのタスクです。モデルにはエンジニアが直面するのと同じ運用環境——計算クラスターやストレージ、社内ドキュメント、コードベース、実験結果などが与えられます。モデル自身はトレーニングスタック全体のボトルネックを特定し、最適化を実装し、独自の experiment を実行して、正しさを損なうことなく測定可能なエンドツーエンドの速度向上を実現しなければなりません。

レポートにある以下の一文が全てを言い表しています。「エージェントの能力が向上するにつれて、スケーリングにおけるポストトレーニングの難易度はモデルから環境へと移行する」。つまり、ボトルネックはもはやモデルではなく、特定のタスクを実行できるようにモデルを訓練すること自体が課題となっているのです。

モデルを訓練するために、何千もの多日間の専門家タスクを手作業で構築することは不可能です。そのため、研究チームはボトルネックを回避するため「環境ファクトリー」を構築しました。

このシステムでは、研究用エージェントが実際の業務からタスクパターンを収集し、隠れた状態や多段階の依存関係を備えた実行可能な長期ホライズンの環境へと変換します。ただし、各タスクは審査員（ジャッジ）エージェントによって実際に解決されなければカウントされません。誰も合格できない試験は設定されません。

さらに、ソルバーが各環境を走査し、作業を行わずにスコアを獲得できる抜け道がないかを探り、それらを塞ぎます。その結果、人間が境界ケースのみを検証する一方で、学習カリキュラム自体が生成と採点を行う仕組みが完成しました。

私は 1 月に「Spec-Test-Lint」コーディングフローについて解説しましたが、その核心は以下の通りです。「仕様書が完全であればあるほど、テストが仕様に近ければ近いほど、エージェントは自律的に作業を進められる」というものです。私が実際に行っていたのは、特定のタスクに対して明確で客観的なフィードバックループを持つ、コーディング用エージェント向けの小さなトレーニングジムを手作業で作ることでした。

Z.ai はこれと似たアプローチを採用していますが、規模が桁違いであり、強化学習（RL）のためのモデル訓練に利用されています。これは 1:1 で完全に一致する例えではありませんが、エージェントに対して客観的なフィードバックループを設けることの重要性を改めて強調したかったのです。

Z.ai はこの一連の取り組みの一環として、脆弱性発見データと環境をトレーニングに組み込みました。同社は「モデルが欠陥の発見や推論能力を向上させる」と期待していましたが、実際には「サイバー能力が予想以上に急速に発展した」のです。具体的には、モデルは複数の攻撃段階にわたって推論を行うようになり、完全な攻撃チェーンのための一貫性のある計画を立てるようになりました。

そこで実世界での検証が行われました。セキュリティチームと連携し、実際のコードベースでテストを実施。専門家のレビューと重複排除を経て、269 のオープンソースプロジェクト全体で 2,436 件の脆弱性が特定されました。そのうち 1,097 件は中程度から高度の深刻度を持つものでした。

発見された最も古い欠陥は 1981 年までさかのぼります。平均的な脆弱性は、誰にも見つけられる前に 26.6 年間も放置されていたことになります。Z.ai は公開台帳（cvd.z.ai）を通じて開示を進めており、これまでに 53 件の情報が公開されていますが、残る 2,383 件は依然として embargo（非公開期間）下にあります。

つまり、推論能力の向上を目指した結果、モデルにハッキングの方法を教えることになったのです。

Qwen3.8-27B も GLM5.3 と同じく 8 月 14 日にリリースされました。私がこのモデルの発表に特に興奮した理由は、GLM5.3 とは異なり、Qwen3.8-27B は 10,000 ドル未満のハードウェアで自宅でも実行可能だからです。具体的には、十分な統合メモリを搭載した Mac や DGX Spark、RTX3090 などが該当します。GLM5.3 もお気に入りのオープンモデルの一つをアップグレードした点で興奮しましたが、Qwen3.8-27B は私の「家庭用知能」をアップグレードするものであり、これは無限のトークンクォータを得ることを意味します。

内部の仕組みがどう変わったかに入る前に、私が驚いたのは、発表で彼らがいきなり「Opus4.6-Max」と比較した点です（これは伝説的ですね）。つまり、家庭用ハードウェアで動作する、前世代の Opus に似たモデルを手に入れたことになります。まだ Opus 4.6 との体感差を判断するためにテストを続けていますが、この約束自体が「ベンチマークで最高値」を出したとしても、すでに大きな成果です。

Qwen3.8 のモデルカードを見ると、このモデルは「Qwen3.5 のアーキテクチャ基盤の上に構築されている」と明記されています（実際、model_type を確認するとまだ qwen3_5 と表示されています）。レイヤー数、隠れ次元、FFN 幅、ヘッド構成、ネイティブコンテキストはすべて 3.6-27B からほぼ変わっていません。GLM-5.3 と Qwen3.8-27B のマイナーバージョンアップにおける主な違いは、Qwen が再学習を行った点です。ハイブリッドアテンションレイアウトも新規ではなく継承されたもので、64 層が「Gated DeltaNet（線形アテンション）ブロック 3 つの繰り返し×16」と「Gated Attention（完全アテンション）ブロック 1 つ」で構成され、マルチトークン予測は複数のステップにわたって訓練されています。素晴らしい設計ですが、これはあくまで 3.5 のデザインです（各レイヤーの詳細説明は別の投稿で行います）。

モデルカードにはトレーニング段階が「事前学習と事後学習」として記載されています。Z.ai は明示的にベースモデルを凍結し、事前学習のみを行いました。この 2 つのリリースから学べるのは、戦争知識（世界に関する知識）はパラメータ数に比例してスケールする一方で、長期にわたる信頼性は事後学習のプロパティであるということです。つまり、優れた事後学習を施された小規模モデルは、特定のタスクにおいて大規模モデルよりも優れたパフォーマンスを発揮できるのです（たとえ世界の知識が少なくても）。

Qwen のトレーニングにおいて、環境ファクトリーの記述や RL（強化学習）の手法、データセットの開示に関する情報は見当たりません。Qwen3.8-Max のモデルカードとレポートを確認すると、いくつかの点が際立っていました。

まず一つ目は、「preserve_thinking」がデフォルトでオンになっている点です。これは Qwen3.6 と異なり、最後のターンだけでなく、過去のすべてのメッセージから思考ブロックを保持することを意味します。つまり、RL（強化学習）のロールアウト中も、モデル自身の推論プロセスがウィンドウ内に維持されたままエピソードが進むため、モデルは「毎回新しい根拠を再生成する」のではなく、「過去の思考を作業記憶として活用する」ことを学習したのです。Qwen はこれに 3 つの理由を挙げています。

1. 長期実行における意思決定の一貫性
2. 冗長な再推論の削減
3. KV キャッシュの効率的な利用

プレフィックス（先頭部分）に固定された思考ブロックはキャッシュされ続けます。一方、毎回捨てて再生成する必要がある思考ブロックこそが、エージェントループのコスト増大を招く要因なのです。

2 つ目は「推論リソース（reasoning_effort）」で、xhigh、medium、low の 3 レベルが用意されています。デフォルトは xhigh です。このように予算を 3 つに分けたのは、単に一つのポリシーを提供してシステムプロンプトで簡潔さを求めるのではなく、モデル自体が異なるリソース制約下で実際に振る舞いを変えるよう訓練したためです。GLM-5.3 と異なり、推論機能は完全にオフにすることも可能です。

3 つ目は「下位互換性：主要なハネス（harness）へのより広範なサポート」です。これは目玉機能の一つとして明記されており、カードに記載されたすべてのコーディングベンチマークが Claude Code ハネスを通じて実行されました。Z.ai が GLM5.3 で学んだ教訓と同じです。「モデルを実際のエージェントループ内で動作させたいなら、実環境のエージェントループ内で事後学習を行うこと」。つまり、実際のツール呼び出し形式と、実際に返ってくるエラーメッセージを伴って学習させるのです。だからこそ、ラッパーなしで OpenCode や既存のツールにそのまま組み込んでも問題なく動作するのです。（現在のモデル利用状況や、私が pi を愛しているように、すべてのモデルがこうした対応を行うべきだと考えています。）

Z.ai はベースモデルを固定し、環境構築に 1 ヶ月を費やしました。一方、アリババはモデルのサイズを大幅に縮小するとともに、ポストトレーニングパイプラインを改善して、より少ないスペースで高度な知能を実現しています。

オープンソースモデルがここ数ヶ月で成し遂げたことは驚異的です。今や、前世代の Opus レベルの知能を自宅でも利用可能になり、ハードウェアへのわずかな投資と REAPing を組み合わせれば、自宅で動作するモデルも実現できます。

なお、GLM5.3-Flash や Qwen3.7-Flash についてはまだ触れていません。これらは私にとって「AI の自立の日」を象徴するものであり、来週の投稿で詳しく取り上げます。

7 月、私は「未来は狭い領域に特化するものだ」と主張しました。REAP スタイルのエキスパートプルーニングを使えば、モデルが持つ知識のうち、あなたが決して尋ねない部分をすべて切り捨て、必要な部分だけを自分の所有するハードウェア上で維持できるのです。

その投稿では、既存のモデルを圧縮し、現在のタスクに関連しないエキスパートをすべて取り除くことができる点を論じました。今回の記事は、同じトレードオフのもう一方の側面です（そして、自宅で実行可能なこれらのモデルに私がなぜこれほど興奮しているかの理由でもあります）。ベースモデルには膨大な生データが埋め込まれており、この知識はパラメータ数に応じてスケールします。しかし、そのベースモデルを活用してプルーニングを行い、ポストトレーニングを通じて特定のタスクに特化させることができます。コアパラメータを削減しても、モデルの性能は保たれるのです。

つまり、生データ（raw knowledge）をモデル化し、私たちが関心を持つタスクでパフォーマンスを発揮できるようにするのです。（ここで「モデル」という言葉が、以前とは異なる重みを持って使われている点にご注意ください）

あなたはどうでしょうか。状況の変化を見ていると、自宅でこれらのモデルを「低コスト」で実行できる日が、ぐっと近づいているように感じられます（リスク許容度が高い方はクラウド利用も可能です）。そして、プラグアンドプレイの AI が実現する日も間近です。

私たちはまさに「ソーラーパネル・モーメント」に近づいています。そして、中国が再びその触媒となっています。（自分へのメモ：このテーマについても書くべきだ）

次週は「AI 独立記念日」について分析します。それではまた来週！