メタが公開した人間中心型ビジョンモデル「Sapiens2」の GitHub リポジトリ

## スケール。セマンティクス。忠実度。 [Rawal Khirodkar](https://rawalkhirodkar.github.io/) · [He Wen](https://www.linkedin.com/in/hewen/) · [Julieta Martinez](https://una-dinosauria.github.io/) · [Yuan Dong](https://www.linkedin.com/in/ydong142857/) · [Su Zhaoen](https://about.meta.com/realitylabs/) · [Shunsuke Saito](https://shunsukesaito.github.io/) ## ICLR 2026 10 億枚の人間画像で事前学習された高解像度トランスフォーマーファミリー。ポーズ推定、身体部位セグメンテーション、表面法線（surface normals）、ポイントマップなど、多様な人間中心タスクにおいて最先端のパフォーマンスを達成します。 ## ⚡ クイックスタート 事前学習済みバックボーンの前向きパスを実行するだけで、torch と safetensors が必要となります: import os import torch from safetensors.torch import load_file from sapiens.backbones.standalone.sapiens2 import Sapiens2 # モデルを構築し、事前学習済みチェックポイントを読み込む model = Sapiens2(arch="sapiens2_1b", img_size=(1024, 768), patch_size=16).eval().cuda() # img_size は (H, W) ckpt = os.path.expanduser("~/sapiens2_host/pretrain/sapiens2_1b_pretrain.safetensors") model.load_state_dict(load_file(ckpt)) # 単一画像（RGB; ImageNet の正規化推奨）に対するフォワードパス x = torch.randn(1, 3, 1024, 768).cuda() with torch.no_grad(): features = model(x)[0] # 密なバックボーン特徴量 スタンドアロンファイル [sapiens/backbones/standalone/sapiens2.py](https://github.com/facebookresearch/sapiens2/blob/main/sapiens/backbones/standalone/sapiens2.py) および [sapiens/backbones/standalone/sapiens.py](https://github.com/facebookresearch/sapiens2/blob/main/sapiens/backbones/standalone/sapiens.py) (v1) は自己完結型です。このリポジトリの他の部分なしにバックボーンを使用するには、いずれかのファイルを自分のプロジェクトにコピーしてください。 ## 🧬 モデルカード モデル | パラメータ数 | FLOPs | 埋め込み次元 | レイヤー数 | ヘッド数 ---|---|---|---|---|--- Sapiens2-0.1B | 0.114 B | 0.342 T | 768 | 12 | 12 Sapiens2-0.4B | 0.398 B | 1.260 T | 1024 | 24 | 16 Sapiens2-0.8B | 0.818 B | 2.592 T | 1280 | 32 | 16 Sapiens2-1B | 1.462 B | 4.715 T | 1536 | 40 | 24 Sapiens2-1B (4K) | 1.607 B | — | 1536 | 40 | 24 Sapiens2-5B | 5.071 B | 15.722 T | 2432 | 56 | 32 すべてのモデルはパッチサイズ 16 を使用し、1024×768 (H×W) の解像度でトレーニングされています。ただし、Sapiens2-1B (4K) は use_tokenizer=True で 4096×3072 でトレーニングされています。 ## 📦 入門ガイド **リポジトリをクローンします:** git clone https://github.com/facebookresearch/sapiens2.git cd sapiens2 export SAPIENS_ROOT=$(pwd) **インストールする** (Python ≥3.12 および PyTorch ≥2.7 が必要): pip install -e . [MODEL_ZOO.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/MODEL_ZOO.md) からチェックポイント（重みファイル）をダウンロードします。ダウンロードしたファイルを $SAPIENS_CHECKPOINT_ROOT (デフォルト: ~/sapiens2_host) 配下に配置してください: sapiens2_host/ ├── pretrain/ │ ├── sapiens2_{0.1b,0.4b,0.8b,1b,5b}_pretrain.safetensors │ └── sapiens2_1b_4k_pretrain.safetensors ├── pose/ │ └── sapiens2_{0.4b,0.8b,1b,5b}_pose.safetensors ├── seg/ │ └── sapiens2_{0.4b,0.8b,1b,5b}_seg.safetensors ├── normal/ │ └── sapiens2_{0.4b,0.8b,1b,5b}_normal.safetensors ├── pointmap/ │ └── sapiens2_{0.4b,0.8b,1b,5b}_pointmap.safetensors └── detector/ # [オプション] ポーズ推論にのみ必要 └── detr-resnet-101-dc5/ ## 🎯 ビジョンタスク タスク 推論 トレーニング 姿勢推定 [docs/POSE.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/POSE.md) [docs/train/POSE.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/train/POSE.md) 身体部位セグメンテーション [docs/SEG.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/SEG.md) [docs/train/SEG.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/train/SEG.md) 表面法線推定 (Surface Normal Estimation) [docs/NORMAL.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/NORMAL.md) [docs/train/NORMAL.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/train/NORMAL.md) ポイントマップ推定 (Pointmap Estimation) [docs/POINTMAP.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/POINTMAP.md) [docs/train/POINTMAP.md](https://github.com/facebookresearch/sapiens2/blob/main/docs/train/POINTMAP.md) ## ✨ 謝辞 本プロジェクトは、[DINOv3](https://github.com/facebookresearch/dinov3)、[OpenMMLab](https://github.com/open-mmlab)、および [Accelerate](https://github.com/huggingface/accelerate) の貢献により恩恵を受けております。これらのプロジェクトへの貢献に感謝申し上げます。 ## 🤝 貢献について ご質問や問題については、GitHub でイシュー（issue）を起票してください。[CONTRIBUTING](https://github.com/facebookresearch/sapiens2/blob/main/CONTRIBUTING.md) および [行動規範 (Code of Conduct)](https://github.com/facebookresearch/sapiens2/blob/main/CODE_OF_CONDUCT.md) をご覧ください。 ## 📜 ライセンス 本プロジェクトは、[Sapiens2 License](https://github.com/facebookresearch/sapiens2/blob/main/LICENSE.md) の下でライセンスされています。 ## 📚 引用について 研究において Sapiens2 をご使用の場合は、以下の通り引用していただくようお願いいたします。 @article{khirodkarsapiens2, title={Sapiens2}, author={Khirodkar, Rawal and Wen, He and Martinez, Julieta and Dong, Yuan and Su, Zhaoen and Saito, Shunsuke}, journal={arXiv preprint arXiv:2604.21681}, year={2026} }

メタが公開した人間中心型ビジョンモデル「Sapiens2」の GitHub リポジトリ

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト