メタが公開した人間中心型ビジョンモデル「Sapiens2」の GitHub リポジトリ

ポイントマップ推定 (Pointmap Estimation)

✨ 謝辞

本プロジェクトは、DINOv3、OpenMMLab、および Accelerate の貢献により恩恵を受けております。これらのプロジェクトへの貢献に感謝申し上げます。

🤝 貢献について

ご質問や問題については、GitHub でイシュー（issue）を起票してください。CONTRIBUTING および行動規範 (Code of Conduct) をご覧ください。

📜 ライセンス

本プロジェクトは、Sapiens2 License の下でライセンスされています。

📚 引用について

研究において Sapiens2 をご使用の場合は、以下の通り引用していただくようお願いいたします。

@article{khirodkarsapiens2,

title={Sapiens2},

author={Khirodkar, Rawal and Wen, He and Martinez, Julieta and Dong, Yuan and Su, Zhaoen and Saito, Shunsuke},

journal={arXiv preprint arXiv:2604.21681},

year={2026}

}

原文を表示

Scale. Semantics. Fidelity.

ICLR 2026

A family of high-resolution transformers pretrained on 1 billion human images, achieving state-of-the-art performance across diverse human-centric tasks — pose estimation, body-part segmentation, surface normals, and pointmaps.

⚡ Quick Start

Run a pretrained backbone forward pass — only torch and safetensors needed:

code

import os
import torch
from safetensors.torch import load_file
from sapiens.backbones.standalone.sapiens2 import Sapiens2

# Build the model and load a pretrained checkpoint
model = Sapiens2(arch="sapiens2_1b", img_size=(1024, 768), patch_size=16).eval().cuda()  # img_size is (H, W)
ckpt = os.path.expanduser("~/sapiens2_host/pretrain/sapiens2_1b_pretrain.safetensors")
model.load_state_dict(load_file(ckpt))

# Forward pass on a single image (RGB; ImageNet normalization recommended)
x = torch.randn(1, 3, 1024, 768).cuda()
with torch.no_grad():
    features = model(x)[0]  # dense backbone features

The standalone files sapiens/backbones/standalone/sapiens2.py and sapiens/backbones/standalone/sapiens.py (v1) are self-contained — copy either into your own project to use the backbone without the rest of this repo.

🧬 Model Card

Model

Params

FLOPs

Embed dim

Layers

Heads

Sapiens2-0.1B

0.114 B

0.342 T

768

Sapiens2-0.4B

0.398 B

1.260 T

1024

Sapiens2-0.8B

0.818 B

2.592 T

1280

Sapiens2-1B

1.462 B

4.715 T

1536

Sapiens2-1B (4K)

1.607 B

—

1536

Sapiens2-5B

5.071 B

15.722 T

2432

All models use patch size 16 and are trained at 1024×768 (H×W) resolution, except Sapiens2-1B (4K) which is trained at 4096×3072 with use_tokenizer=True.

📦 Getting Started

Clone the repository:

code

git clone https://github.com/facebookresearch/sapiens2.git
cd sapiens2
export SAPIENS_ROOT=$(pwd)

Install (requires Python ≥3.12 and PyTorch ≥2.7):

code

pip install -e .

Download checkpoints from MODEL_ZOO.md. Place downloaded files under $SAPIENS_CHECKPOINT_ROOT (default: ~/sapiens2_host):

code

sapiens2_host/
├── pretrain/
│   ├── sapiens2_{0.1b,0.4b,0.8b,1b,5b}_pretrain.safetensors
│   └── sapiens2_1b_4k_pretrain.safetensors
├── pose/
│   └── sapiens2_{0.4b,0.8b,1b,5b}_pose.safetensors
├── seg/
│   └── sapiens2_{0.4b,0.8b,1b,5b}_seg.safetensors
├── normal/
│   └── sapiens2_{0.4b,0.8b,1b,5b}_normal.safetensors
├── pointmap/
│   └── sapiens2_{0.4b,0.8b,1b,5b}_pointmap.safetensors
└── detector/                  # [optional] only needed for pose inference
    └── detr-resnet-101-dc5/

🎯 Vision Tasks

Task

Inference

Train

Pose Estimation

docs/POSE.md

docs/train/POSE.md

Body-Part Segmentation

docs/SEG.md

docs/train/SEG.md

Surface Normal Estimation

Pointmap Estimation

MarkTechPost重要度42026年7月8日 12:03

✨ Acknowledgements

We would like to acknowledge the contributions of DINOv3, OpenMMLab, and Accelerate, which this project benefits from.

🤝 Contributing

For questions or issues, please open an issue on GitHub. See CONTRIBUTING and the Code of Conduct.

📜 License

This project is licensed under the Sapiens2 License.

📚 Citation

If you use Sapiens2 in your research, please consider citing us.

code

@article{khirodkarsapiens2,
  title={Sapiens2},
  author={Khirodkar, Rawal and Wen, He and Martinez, Julieta and Dong, Yuan and Su, Zhaoen and Saito, Shunsuke},
  journal={arXiv preprint arXiv:2604.21681},
  year={2026}
}

この記事をシェア

アント・グループ傘下のエンボディドAI企業「Robbyant」が、密集空間知覚向け10億パラメータのビジョン基盤モデル「LingBot-Vision」をオープンソース化

MarkTechPost重要度42026年7月8日 01:50

Liquid AI が推論モデルの無限ループを防止する新手法「Antidoom」をオープンソース化

TLDR AI重要度42026年7月8日 09:00

マイクロソフトの真の AI ストラテジーはチャットボートではない（8 分読了）

今日のまとめ

AI日報で今日の重要ニュースをまとめ読み

ニュース一覧に戻る元記事を読む

TLDR AI·2026年4月29日 09:00·約3分

メタが公開した人間中心型ビジョンモデル「Sapiens2」の GitHub リポジトリ

#Vision Models #Human-Centric AI #Open Source #Meta Research #ICLR

TL;DR

AI深層分析2026年7月6日 01:09

重要/ 5段階

深度40%

キーポイント

人間中心（Human-Centric）の設計思想

単なる物体検出を超え、人間の行動や意図を深く理解・推論することを主目的としたアーキテクチャを採用している。

3 大技術指標：スケール、セマンティクス、忠実性

学術発表とオープンソース化

ICLR 2026 で論文が発表される予定であり、GitHub リポジトリと Hugging Face を通じてコードやモデルが公開されている。

高解像度・大規模事前学習モデル

軽量な実行環境

モデルアーキテクチャの初期化

事前学習済みチェックポイントの読み込み

~ディレクトリ内の 'sapiens2_1b_pretrain.safetensors' ファイルから重みを読み込み、モデルの状態辞書に適用して初期化します。

影響分析・編集コメントを表示

影響分析

編集コメント

スケール。セマンティクス。忠実度。

ICLR 2026

⚡ クイックスタート

事前学習済みバックボーンの前向きパスを実行するだけで、torch と safetensors が必要となります:

import os

import torch

from safetensors.torch import load_file

from sapiens.backbones.standalone.sapiens2 import Sapiens2

モデルを構築し、事前学習済みチェックポイントを読み込む

model = Sapiens2(arch="sapiens2_1b", img_size=(1024, 768), patch_size=16).eval().cuda() # img_size は (H, W)

ckpt = os.path.expanduser("~/sapiens2_host/pretrain/sapiens2_1b_pretrain.safetensors")

model.load_state_dict(load_file(ckpt))

単一画像（RGB; ImageNet の正規化推奨）に対するフォワードパス

x = torch.randn(1, 3, 1024, 768).cuda()

with torch.no_grad():

features = model(x)[0] # 密なバックボーン特徴量

🧬 モデルカード

---|---|---|---|---|---

Sapiens2-0.1B | 0.114 B | 0.342 T | 768 | 12 | 12

Sapiens2-0.4B | 0.398 B | 1.260 T | 1024 | 24 | 16

Sapiens2-0.8B | 0.818 B | 2.592 T | 1280 | 32 | 16

Sapiens2-1B | 1.462 B | 4.715 T | 1536 | 40 | 24

Sapiens2-1B (4K) | 1.607 B | — | 1536 | 40 | 24

Sapiens2-5B | 5.071 B | 15.722 T | 2432 | 56 | 32

📦 入門ガイド

リポジトリをクローンします:

git clone https://github.com/facebookresearch/sapiens2.git

cd sapiens2

export SAPIENS_ROOT=$(pwd)

インストールする (Python ≥3.12 および PyTorch ≥2.7 が必要):

pip install -e .

sapiens2_host/

├── pretrain/

│ ├── sapiens2_{0.1b,0.4b,0.8b,1b,5b}_pretrain.safetensors

│ └── sapiens2_1b_4k_pretrain.safetensors

├── pose/

│ └── sapiens2_{0.4b,0.8b,1b,5b}_pose.safetensors

├── seg/

│ └── sapiens2_{0.4b,0.8b,1b,5b}_seg.safetensors

├── normal/

│ └── sapiens2_{0.4b,0.8b,1b,5b}_normal.safetensors

├── pointmap/

│ └── sapiens2_{0.4b,0.8b,1b,5b}_pointmap.safetensors

└── detector/ # [オプション] ポーズ推論にのみ必要

└── detr-resnet-101-dc5/

🎯 ビジョンタスク

タスク

推論

トレーニング

姿勢推定

身体部位セグメンテーション

表面法線推定 (Surface Normal Estimation)

ポイントマップ推定 (Pointmap Estimation)

✨ 謝辞

本プロジェクトは、DINOv3、OpenMMLab、および Accelerate の貢献により恩恵を受けております。これらのプロジェクトへの貢献に感謝申し上げます。

🤝 貢献について

ご質問や問題については、GitHub でイシュー（issue）を起票してください。CONTRIBUTING および行動規範 (Code of Conduct) をご覧ください。

📜 ライセンス

本プロジェクトは、Sapiens2 License の下でライセンスされています。

📚 引用について

研究において Sapiens2 をご使用の場合は、以下の通り引用していただくようお願いいたします。

@article{khirodkarsapiens2,

title={Sapiens2},

author={Khirodkar, Rawal and Wen, He and Martinez, Julieta and Dong, Yuan and Su, Zhaoen and Saito, Shunsuke},

journal={arXiv preprint arXiv:2604.21681},

year={2026}

}

原文を表示

Scale. Semantics. Fidelity.

ICLR 2026

⚡ Quick Start

Run a pretrained backbone forward pass — only torch and safetensors needed:

code

import os
import torch
from safetensors.torch import load_file
from sapiens.backbones.standalone.sapiens2 import Sapiens2

# Build the model and load a pretrained checkpoint
model = Sapiens2(arch="sapiens2_1b", img_size=(1024, 768), patch_size=16).eval().cuda()  # img_size is (H, W)
ckpt = os.path.expanduser("~/sapiens2_host/pretrain/sapiens2_1b_pretrain.safetensors")
model.load_state_dict(load_file(ckpt))

# Forward pass on a single image (RGB; ImageNet normalization recommended)
x = torch.randn(1, 3, 1024, 768).cuda()
with torch.no_grad():
    features = model(x)[0]  # dense backbone features

🧬 Model Card

Model

Params

FLOPs

Embed dim

Layers

Heads

Sapiens2-0.1B

0.114 B

0.342 T

768

Sapiens2-0.4B

0.398 B

1.260 T

1024

Sapiens2-0.8B

0.818 B

2.592 T

1280

Sapiens2-1B

1.462 B

4.715 T

1536

Sapiens2-1B (4K)

1.607 B

—

1536

Sapiens2-5B

5.071 B

15.722 T

2432

All models use patch size 16 and are trained at 1024×768 (H×W) resolution, except Sapiens2-1B (4K) which is trained at 4096×3072 with use_tokenizer=True.

📦 Getting Started

Clone the repository:

code

git clone https://github.com/facebookresearch/sapiens2.git
cd sapiens2
export SAPIENS_ROOT=$(pwd)

Install (requires Python ≥3.12 and PyTorch ≥2.7):

code

pip install -e .

Download checkpoints from MODEL_ZOO.md. Place downloaded files under $SAPIENS_CHECKPOINT_ROOT (default: ~/sapiens2_host):

code

sapiens2_host/
├── pretrain/
│   ├── sapiens2_{0.1b,0.4b,0.8b,1b,5b}_pretrain.safetensors
│   └── sapiens2_1b_4k_pretrain.safetensors
├── pose/
│   └── sapiens2_{0.4b,0.8b,1b,5b}_pose.safetensors
├── seg/
│   └── sapiens2_{0.4b,0.8b,1b,5b}_seg.safetensors
├── normal/
│   └── sapiens2_{0.4b,0.8b,1b,5b}_normal.safetensors
├── pointmap/
│   └── sapiens2_{0.4b,0.8b,1b,5b}_pointmap.safetensors
└── detector/                  # [optional] only needed for pose inference
    └── detr-resnet-101-dc5/

🎯 Vision Tasks

Task

Inference

Train

Pose Estimation

docs/POSE.md

docs/train/POSE.md

Body-Part Segmentation

docs/SEG.md

docs/train/SEG.md

Surface Normal Estimation

Pointmap Estimation