Qwen-MM-Plugins: Qwen モデル向けネイティブ多モーダルプラグイン
本文の状態
日本語全文を表示中
詳細モードで約4分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TLDR AI
QwenLM は Qwen モデル向けのネイティブ多機能プラグイン「Qwen-MM-Plugins」を公開し、開発者がエージェントに画像・動画解析や Web 検索などの機能を容易に統合できる環境を提供した。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月12日 22:34
AI深層分析
キーポイント
ネイティブマルチモーダルプラグインの提供
Qwen モデルのエージェントが画像、動画、ドキュメント、コード、3D ファイルなどを直接読み取り・可視化できる機能を提供する。
多様な開発環境への対応と自動インストール
Claude Code, Codex, Qwen Code, Gemini CLI などの主要なエージェントハネスに対応し、単一のスクリプトで設定を完了できる。
独立した機能モジュールによる拡張性
画像解析や API 連携など各機能が「Skill」と「MCP サーバー」の形で独立してインストール可能であり、必要な機能のみを選定できる。
多様な機能プラグイン
Web検索、動画編集、Blenderによる3Dレンダリング、FreeCADでのパラメトリック設計など、専門的なタスクに対応する複数のツールが提供される。
自然なファイル参照による利用
インストール後、@report.pdf や @meeting.mp4 のようにファイルを自然に指定して質問すると、関連するMCPツールが自動的に選択されて処理を行う。
重要な引用
Native multimodal plugins for Qwen models. Make any agent harness multimodal-native.
Each capability is installed independently as a Skill plus an optional MCP server.
@report.pdf Summarize page 3 and extract its table.
core reads media at dynamic resolution, so manual resizing is normally unnecessary.
編集コメントを表示
編集コメント
Qwen モデルのエコシステムが、単なる言語モデルから多機能なエージェントへと進化している過程を示す重要な一歩である。MCP プロトコルとの親和性を高めることで、開発現場における実装コストの削減に寄与する可能性がある。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
English · 中文
Qwen モデル向けのネイティブ多モーダルプラグイン。あらゆるエージェントに、マルチモーダルネイティブな能力を付与します。
アーキテクチャ
インストール
ガイド付きインストーラーは、Claude Code、Codex、Qoder、OpenClaw、Qwen Code、Gemini CLI に対応しています。各ハネスのネイティブインストールコマンドを利用し、共有設定は ~/.qwen-mm-plugins/config に保存します。
curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bashすでにインストールされているハネスの機能を更新するには：
curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bash -s -- update公開された機能は、独立して不変なタグで管理されています。ローカルチェックアウトによるインストール、ロールバック、手動でのスキルと MCP のセットアップ、依存関係、Windows/WSL2 に関する詳細は、インストールガイド をご覧ください。
機能
各機能は、Skill とオプションの MCP サーバー として独立してインストールされます。インストール名は qwen-mm-plugins-<capability> です。
| 機能 | ユースケース | 主要要件 | クックブック |
|---|---|---|---|
core | 画像や動画の読み込み、ドキュメント・コード・データ・3D ファイルなどの可視化 | API キー不要; 音声/動画には ffmpeg を使用; 必要に応じてフォーマット固有のアプリを使用 | Cookbook |
api | Qwen VL/Omni ビジョン、OCR、グラウンディング、ASR、セグメンテーション、およびオーディオ・ビデオ理解 | DashScope; ローカルの音声/動画には ffmpeg を使用 | Cookbook |
search | ウェブ検索、ページ抽出、逆画像検索 | Serper, Exa, または Tavily のキーが必要; 画像検索には Serper を使用 | Cookbook |
video-memory | 長尺動画 QA 用の階層的メモリを構築 | DashScope; 構築には ffmpeg/ffprobe を使用 | Cookbook |
video-edit | 編集ワークフローによる画像、動画、オーディオの生成 | DashScope; 完全な編集には ffmpeg + Node/Chromium を使用 | Cookbook |
blender | Blender でのモデル、テクスチャ、照明の作成およびレンダリング | Blender; ヘッドレス Linux では Xvfb を使用 | Cookbook |
freecad | パラメトリック CAD、STEP/STL、および FEM ワークフロー | FreeCAD; FEM には CalculiX を使用; ヘッドレス Linux では Xvfb を使用 | Cookbook |
edu-agent | 中国語の数学・科学解説動画およびインタラクティブページの作成 | スキルのみ使用; Node/Chromium + ffmpeg; 音声付き動画には DashScope を使用 | Cookbook |
試してみよう
機能をインストールしたら、ファイルを参照して自然な言葉で質問するだけで、Skill が関連する MCP ツールを自動的に選択します。
@report.pdf Summarize page 3 and extract its table.
@meeting.mp4 Transcribe this with speaker labels and timestamps.
@place.jpg Identify where this photo was taken and verify it on the web.
@lecture-2h.mp4 List the main points with timestamps.
core はメディアを動的解像度で読み込むため、通常は手動でのリサイズは不要です。
要件と設定
「uv」には、必要な Python 依存関係をその場でインストールする uvx というコマンドが用意されています。
ローカルで動作する core ツールは API キーを必要としませんが、クラウド機能や検索機能を利用するには、それぞれのプロバイダーから認証情報を取得する必要があります。
動画処理、ドキュメント解析、ブラウザ操作、Blender や FreeCAD を用いたワークフローでは、システム側のアプリケーションが別途必要になる場合があります。
インストールスクリプトのConfigureおよびVerifyアクションを実行して、認証情報の設定と依存関係の確認を行ってください。
前提条件についてはInstallationを、各設定の詳細はconfiguration referenceをご参照ください。
ドキュメント
ライセンス
Apache-2.0 — LICENSE を参照してください。Blender および FreeCAD の統合機能に関する第三者の帰属情報は、それぞれの Blender と FreeCAD の NOTICE ファイルに記載されています。
原文を表示
English · 中文
Native multimodal plugins for Qwen models. Make any agent harness multimodal-native.
Architecture
Install
The guided installer supports Claude Code, Codex, Qoder, OpenClaw, Qwen Code, and Gemini CLI. It
uses each harness's native install command and keeps shared configuration in
~/.qwen-mm-plugins/config.
curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bashUpdate the capabilities already installed in one harness:
curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bash -s -- updateReleased capabilities use independent, immutable tags. For local checkout installs, rollback,
manual skill + MCP setup, dependencies, and Windows/WSL2, see the
Capabilities
Each capability is installed independently as a Skill plus an optional MCP server. Its
install name is qwen-mm-plugins-<capability>.
| Capability | Use case | Main requirements | Cookbook |
|---|---|---|---|
core | Read images and video; visualize documents, code, data, 3D files, and more | No API key; ffmpeg for audio/video; format-specific apps as needed | Cookbook |
api | Qwen VL/Omni vision, OCR, grounding, ASR, segmentation, and audio-video understanding | DashScope; ffmpeg for local audio/video | Cookbook |
search | Web search, page extraction, and reverse-image search | Serper, Exa, or Tavily key; image search requires Serper | Cookbook |
video-memory | Build hierarchical memory for long-video QA | DashScope; ffmpeg/ffprobe for builds | Cookbook |
video-edit | Image, video, and audio generation with editing workflows | DashScope; ffmpeg + Node/Chromium for full edits | Cookbook |
blender | Model, texture, light, and render in Blender | Blender; Xvfb on headless Linux | Cookbook |
freecad | Parametric CAD, STEP/STL, and FEM workflows | FreeCAD; CalculiX for FEM; Xvfb on headless Linux | Cookbook |
edu-agent | Create Chinese math/science explainer videos and interactive pages | Skill-only; Node/Chromium + ffmpeg; DashScope for narrated video | Cookbook |
Try it
After installing a capability, reference a file and ask naturally; the Skill selects the relevant
MCP tool.
@report.pdf Summarize page 3 and extract its table.
@meeting.mp4 Transcribe this with speaker labels and timestamps.
@place.jpg Identify where this photo was taken and verify it on the web.
@lecture-2h.mp4 List the main points with timestamps.
core reads media at dynamic resolution, so manual resizing is normally unnecessary.
Requirements and configuration
- uv provides uvx, which installs Python dependencies on demand.
- Local core tools need no API key. Cloud and search capabilities need their provider credentials.
- Video, document, browser, Blender, and FreeCAD workflows may need system applications.
Run the installer's Configure and Verify actions to set credentials and check dependencies.
See Installation for prerequisites and the
configuration reference for every setting.
Documentation
- Installation
- Configuration
- Contributing · Local development
- Add a capability · Testing
License
Apache-2.0 — see LICENSE. Third-party attribution for the Blender and FreeCAD integrations
is recorded in their respective Blender and
FreeCAD notices.
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み