GLM-5V-Turbo発表：マルチモーダルコーディング基盤モデル

智谱 2026-年4月2日 08:06 北京

エージェント（Agent）時代において、モデルの能力は「モデルの知能」とその処理可能なコンテキスト容量という 2 つの次元によって定義されます。画像、動画、テキストなどの多様なコンテキストをネイティブに処理でき、かつ複雑なプログラミング、長期的な計画策定、動作実行が得意なコーディング基盤モデルこそが、すべての AI ネイティブアプリケーションの礎となります。

本日、私たちは視覚的プログラミング向けに設計された多モーダル（マルチモーダル）なコーディング基盤モデル「GLM-5V-Turbo」を発表します。

GLM-5V-Turbo は事前学習段階から視覚能力とテキスト能力を深く融合させ、プログラミングが純粋なテキスト入力に限定されることをなくしました。このモデルは設計図やスクリーンショット、ウェブインターフェースを理解し、それに基づいて完全かつ実行可能なコードを生成します。まさに「画面の内容を読み取り、コードを書き出す」ことが可能になります。

主な特徴は以下の通りです：

ネイティブ多モーダルコーディング基盤：画像、動画、設計図、ドキュメントのレイアウトなど多様な入力形式をネイティブに理解し、枠線描画、スクリーンショット取得、ウェブ閲覧などの多モーダルツール呼び出しをサポートします。コンテキストウィンドウは 200k に拡張され、エージェントの「知覚から行動へ」の連鎖を純粋なテキストから視覚的インタラクションへと延伸させます。

視覚能力とプログラミング能力の両立：多モーダルコーディング、ツール使用（Tool Use）、GUI エージェントなどの主要ベンチマークにおいて優れたパフォーマンスを発揮します。マルチタスク協調強化学習（RL）などの技術手段を通じて、純粋なテキストシナリオにおけるプログラミング、推論、ツール呼び出しなどの能力が劣化しないことを保証します。

Claude Code および「龍蝦」シナリオへの深い適応：Claude Code や OpenClaw/AutoClaw などのエージェントと深く連携し、「環境の理解→動作の計画→タスクの実行」という完全なクローズドループをサポートします。また、すぐに使用可能な公式スキルセットを一式提供します。

多モーダルコーディング基盤

多モーダルコーディング、エージェンティック（Agentic）タスク、そして純粋なテキストコーディングの各評価基準において、GLM-5V-Turbo はより小規模なサイズでありながら最先端のパフォーマンスを達成しています。

GLM-5V-Turboは、デザイン稿の再現、視覚的コード生成、多モーダル検索と質問応答、視覚的探査などのベンチマークにおいて優れたパフォーマンスを達成しており、実際のGUI環境での操作能力を測定するAndroidWorldやWebVoyagerといったベンチマークでも際立った成果を示しています。純粋なテキストによるコーディング能力においては、GLM-5V-TurboはCC-Bench-V2のBackend（バックエンド）、Frontend（フロントエンド）、Repo Exploration（リポジトリ探索）という3つの主要テスト項目で安定したパフォーマンスを維持しており、視覚能力が導入されたことで純粋なテキストプログラミングおよび推論能力が同等の水準を保持していることが示されています。

AutoClawなどのロブスターエージェントにGLM-5V-Turboを統合した結果、ロブスターは真の視覚能力を獲得し、画面上の情報を理解できるようになりました。モデルは、ロブスターエージェントのタスク実行品質を測定するPinchBench、ClawEval、ZClawBenchにおいて優れた成績を収め、複雑なタスク実行シナリオにおける総合的な能力を検証しました。

ベータテスト期間中、ByteDance（字节跳动）、Meituan（美团）、Kuaishou（快手）などの大手インターネット企業パートナーからGLM-5V-Turboに対して高い評価が寄せられました：

「GLM-5V-Turboはデザイン稿からコードへの完全な再現を実現しており、視覚理解モデルとして開発者のフロントエンド開発シナリオを十分に満たすことができます。」——TRAEモデル評価チーム

「ネイティブ多モーダル能力の導入によりプログラミングロジックが弱まることはなく、そのプログラミング能力は依然として国内トップクラスです。AI at Work（職場におけるAI）分野におけるD2C（Direct-to-Consumer）、画像処理などの方向性でのワークフロー体験を強化しました。」——Meituan某チーム

「同モデルはエージェントに『目』を与えつつ、プログラミング領域において類似の多モーダルモデルよりも優れた能力を示し、視覚的プログラミングシナリオにおいてより競争力があります。」——Kuaishou Wanqing（万擎）モデル評価チーム

GLM-5V-Turboが性能面で優位性を発揮している理由は、モデルアーキテクチャ、トレーニング手法、データ構築、ツールチェーンの4つの層における体系的なアップグレードによるものです：

ネイティブ多モーダル融合：GLM-5V-Turboは事前学習段階からテキストと視覚能力を深く統合し、後続のトレーニング（ポストトレーニング）段階で多モーダルの協調最適化を実現しました。私たちは次世代のCogViT（CogViT）視覚エンコーダーを開発し、汎用物体認識、微細粒度理解、幾何学および空間知覚において最高水準を達成するとともに、多モーダル入力に互換性があり推論に友好的なMTP（Multi-Token Prediction）構造も設計しました。これにより、多モーダルシナリオにおいて高い推論効率を実現しています。

30以上のタスク協調強化学習：強化学習段階では同時に30以上のタスクタイプを最適化し、STEM（科学・技術・工学・数学）、grounding（グラウンディング）、video（動画）、GUI Agent（GUIエージェント）などのサブドメインをカバーしました。その結果、モデルは知覚、推論、Agentic（エージェンシー的）実行、および人間による体感のすべての面で堅牢な向上を遂げ、協調強化学習によって単一分野でのトレーニングにおける不安定性が効果的に緩和されました。

Agenticデータとタスク構築：エージェントデータの希少性と検証の難しさという業界の課題に対応するため、要素知覚からシーケンスレベルの動作予測に至るまでの多層的な体系を構築しました。合成環境に基づいて大規模に制御可能かつ検証可能なトレーニングデータを生成し、事前学習段階からAgenticメタ能力（例えば、GUI Agent PRM（プロセス報酬モデル）データを事前学習に組み込んで幻覚を低減するなど）を注入しています。また、非対称最適化も探索しており、多モーダル評価タスクを活用してより強力なエージェント能力を引き出しています。

多モーダルツールチェーンの拡張：テキストベースのツールに加え、GLM-5V-Turbo は多モーダル検索、枠選択（画框）、スクリーンショット、ウェブページ閲覧などの多モーダルツールをサポートするようになり、プログラミングとタスク実行における知覚・行動のリンクを純粋なテキストから視覚的インタラクションへと拡張しました。Claude Code や AutoClaw などの「ロブスター」との連携効果がさらに強化され、「環境を理解→動作を計画→タスクを実行」という完全なクローズドループをサポートします。

代表的なユースケースの紹介

1. 画像がコードとなる

GLM-5V-Turbo は特にコアとなる視覚プログラミングのシナリオに優れています。

フロントエンドの再現：スケッチ、デザイン稿、参考サイトのスクリーンショットや録画を送るだけで、モデルはレイアウト、配色、コンポーネントの階層構造、インタラクションロジックを直接理解し、完全で動作可能なフロントエンドプロジェクトを生成します。レイアウト、配色、アニメーションなどの視覚的ディテールを正確に再現できます。

GUI 自主探索による再現：Claude Code などのフレームワークと組み合わせることで、GLM-5V-Turbo は自身の強力な GUI Agent 能力を活用して対象ウェブサイトを自律的に探索し、ページ構造の閲覧、各ページ間の遷移関係の整理、視覚素材とインタラクションディテールの収集を行います。最後に記録された探索結果に基づいてコードを直接生成し、サイト全体を再現することで、「画像を見て再現」から「GUI 探索による再現」へと能力が飛躍します。

インタラクティブな編集：要件に応じてページモジュールの追加・削除、文案とスタイルの変更、レイアウト構造の調整が可能で、ボタンのフィードバック、ポップアップ切り替え、フォーム連動などのインタラクション機能を補完し、ビジュアルベースでの反復的な編集を実現します。

1. ロブスターに視覚能力を付与する

ロブスターのタスク範囲が大幅に拡大しました。例えば、ウェブページやドキュメントの閲覧が可能になり、画像とテキストを組み合わせたレポートや PPT の生成、K 線チャートなどの複雑なチャートの照会と解釈も可能です。

AutoClaw はすでに「株式アナリスト」スキルを公開しており、GLM-5V-Turbo のネイティブな視覚能力を活用することで、ロブスターは K 線の推移、バリュエーション・レンジ図、証券会社のリサーチレポートチャートを直接理解できます。これにより、4 つのデータソースから 60 秒間で並列収集を行い、画像とテキストが交錯するリポートを出力します。今すぐ AutoClaw で GLM-5V-Turbo に切り替え、「今日の XXX の株価を分析して専門的な報告書を生成してほしい」と質問してみてください。

視覚プログラミングやロブスタータスクに加え、GLM-5V-Turbo は多モーダル検索、深層研究、GUI Agent、知覚的グラウンディング（Grounding）など、より広範なエージェント（Agentic）シナリオにおいても顕著な性能向上を実現しました。これに伴い、画像キャプション付け、視覚的グラウンディング、ドキュメントベースの執筆、履歴書選別、プロンプト生成などのネイティブ能力に加え、GLM-OCR と GLM-Image を基盤とした文字認識、表認識、手書き文字認識、数式認識、テキストから画像への生成（Text-to-Image）能力を備えた公式スキルセットを提供しています。これにより、ユーザーはより多くのシナリオでモデルの多モーダルな潜在能力を引き出すことができます。上記のスキルはすでに ClawHub に公開されており、ワンクリックインストールですべての機能を体験できます。

ClawHub リンク：https://clawhub.ai/zai-org/glm-master-skill

GitHub リンク: https://github.com/zai-org/GLM-skills

今すぐ体験する

広範なユーザーの皆様には、以下の方法で GLM-5V-Turbo へのアクセスをご案内いたします。

1. プロダクト体験

AutoClaw（オーストラリアロブスター）：https://autoglm.zhipuai.cn/autoclaw/

Z.ai：https://chat.z.ai

1. 公式 API 接続

BigModel 開放プラットフォーム：https://docs.bigmodel.cn/cn/guide/models/vlm/glm-5v-turbo

Z.ai：https://docs.z.ai/guides/vlm/glm-5v-turbo

Coding Plan：現在、Coding Plan ユーザー向けに申請を開放しています。今後 GLM Coding Plan にも GLM-5V-Turbo が追加される予定です。ご期待ください。

申請フォーム：https://zhipu-ai.feishu.cn/share/base/form/shrcndgpmRlJoD5rMmIavUrPwzg

WeChat で開くにはこちらへジャンプしてください