Tuna-2（GitHub リポジトリ）：メタがマルチモーダルモデルの基礎チェックポイントを公開

Zhiheng Liu*1,2,

Weiming Ren*1,3,

Xiaoke Huang1,

Shoufa Chen1,

Tianhong Li1,

Mengzhao Chen2,

Yatai Ji2,

Sen He1,

Jonas Schult1,

Belinda Zeng1,

Tao Xiang1,

Wenhu Chen3,

Ping Luo2,

Luke Zettlemoyer1,

Yuren Cong1

1Meta 2香港大学 3ウォータロー大学

• 同等の貢献

[[プロジェクトページ]](https://tuna-ai.org/tuna-2) [[arXiv]](https://arxiv.org/abs/2604.24763)

概要

Tuna を、視覚符号化コンポーネントを段階的に除去することで簡素化しました。VAE（変分オートエンコーダ）を削除することにより、まず表現エンコーダのみを用いたピクセル空間統合マルチモーダルモデル（UMM: Unified Multimodal Model）であるTuna-Rを導出します。Tuna-2はさらに設計を簡素化し、表現エンコーダを完全にバイパスして、生画像入力に対して直接パッチ埋め込み層を利用します。ピクセル埋め込みを用いる Tuna-2 は、多様なマルチモーダルベンチマークにおいて、Tuna-R および Tuna の両方を上回る性能を発揮します。

生成結果

インストール

git clone https://github.com/facebookresearch/tuna-2.git

cd tuna-2

bash scripts/setup_uv.sh # 依存関係をすべて含む .venv を作成します

source .venv/bin/activate

手動セットアップ（自分で uv を操作したい場合）

curl -LsSf https://astral.sh/uv/install.sh | sh

uv sync

uv pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121

uv pip install -e .

source .venv/bin/activate

推論

すべての推論は、単一の統合スクリプトを通じて行われます:

bash scripts/launch/predict.sh --ckpt <PATH> --prompt <TEXT> [OPTIONS]

オプション

フラグ | 値 | デフォルト | 説明

--ckpt | path | *(必須)* | モデルチェックポイントへのパス

--prompt | text | *(必須)* | テキストプロンプト（t2i）または編集指示（edit）

--task | t2i, edit | t2i | 推論タスク

--variant | none_encoder, siglip_pixel, vae | none_encoder | モデルのバリアント：Tuna-2、Tuna-R、またはTuna

--size | 7b, 2b | 7b | モデルサイズ（2b は --variant vae の場合のみ利用可能）

--resolution | 以下の表を参照 | 512x512 | 出力解像度 (HxW)

--gpu | int | 0 | GPU デバイスインデックス

--image | path | — | ソース画像（--task edit の場合必須）

--steps | int | 50 | 拡散ステップ数

--guidance | float | *(設定ファイルから)* | クラスifierフリーガイダンススケール

--seed | int | 42 | ランダムシード

--negative | text | *(設定ファイルから)* | ネガティブプロンプト

サポートされている解像度

512 クラス | 1024 クラス

---|---

512x512 | 1024x1024

448x576 | 896x1152

576x448 | 1152x896

384x672 | 768x1344

672x384 | 1344x768

例

サンプルプロンプトについては assets/prompts.txt を参照してください。

Tuna-2 (7B, エンコーダーなし、512px)

bash scripts/launch/predict.sh \

--ckpt /path/to/tuna_2_pixel_7b.pt \

--prompt "極端なクローズアップで撮影された非常にリアルな美人ポートレート。眉の上から唇までを映し出す若い女性の顔。肌は自然で、輝きがあり、質感があり、毛穴や細かい顔の毛、微妙な凹凸が確認でき、わずかにツヤのある仕上がりだが、過度なレタッチや人工的な平滑化はない。"

Tuna (2B, VAE ラテン特量、512px)

bash scripts/launch/predict.sh \

--variant vae --size 2b \

--ckpt /path/to/tuna_2b.pt \

--prompt "実際の宇宙ステーションのドーム内での、過酷なまでにリアルな映画のようなクローズアップ。窓際に浮かぶブロンドの女性宇宙飛行士のサイドプロファイル。無重力状態で彼女の緩い三つ編みが自然に揺れながら、静かに地球を見つめている。"

ビデオ生成

ポリシー上の制約により、現時点ではビデオ生成モデルを公開することはできません。ただし、完全なビデオ学習および推論コードベースを提供しています。ご自身でビデオモデルの学習に興味がある場合は、すぐに使用可能な出発点となります — 学習設定については configs/train/video_t2v.yaml を、推論設定については configs/predict/t2v_2b.yaml を参照してください。

TODO (予定事項)

• Tuna-2 モデルの一部の重み（ウェイト）を公開する。

• Tuna モデルの一部の重みを公開する。

• 完全な復元モデルの重み（欠落した層を外部データでファインチューニングして回復させたもの）を公開する。

モデル公開に関する注記

組織の方針による制約のため、本番環境で学習されたモデルの重み全体を公開することはできません。研究コミュニティをサポートするため、LLM のバックボーンと拡散ヘッド（フローヘッド）から少数の層を取り除いたファウンデーションチェックポイントを公開する予定です。残りの層および他のすべてのコンポーネント（ビジョンエンコーダー、投影層、埋め込みベクトルなど）は完全に保持されます。ご自身のデータで短い微調整（fine-tuning）を行うことで、取り除かれた層を迅速に再学習し、モデルを完全な品質まで復元することができます。

詳細な微調整の手順については、トレーニングガイドをご参照ください。

同時に、外部データを用いて取り除かれた層の微調整も積極的に進めており、完全な重みはできるだけ早く公開する予定です。

引用

@article{tuna2,

title={TUNA-2: Pixel Embeddings Beat Vision Encoders

for Unified Understanding and Generation},

author={Liu, Zhiheng and Ren, Weiming and Huang, Xiaoke

and Chen, Shoufa and Li, Tianhong and Chen, Mengzhao

and Ji, Yatai and He, Sen and Schult, Jonas

and Xiang, Tao and Chen, Wenhu and Luo, Ping

and Zettlemoyer, Luke and Cong, Yuren},

journal={arXiv preprint arXiv:2604.24763},

year={2026}

}

@article{liu2025tuna,

title={Tuna: Taming unified visual representations for native unified multimodal models},

author={Liu, Zhiheng and Ren, Weiming and Liu, Haozhe and Zhou, Zijian and Chen, Shoufa and Qiu, Haonan and Huang, Xiaoke and An, Zhaochong and Yang, Fanny and Patel, Aditya and others},

journal={CVPR2026},

year={2026}

}

ライセンス

本プロジェクトは Apache License 2.0 の下でライセンスされています。詳細については LICENSE をご覧ください。