SAM 3.1: マルプレックスとグローバル推論による高速・高アクセシビリティなリアルタイム動画検出と追跡

***2026 年 3 月 27 日更新：*** 過去数ヶ月間で SAM 3 の驚くべき普及ぶりを目の当たりにし、その間も私たちは裏側で動画処理効率を向上させるためのアップデートに取り組んでまいりました。本日、SAM 3.1 をご紹介します。 SAM 3 のドロップイン代替品として、オブジェクトの多重化（multiplexing）を導入することで、モデルが単一のフォワードパスで最大 16 個のオブジェクトを追跡可能となりました。この革新により、中程度の数のオブジェクトを含む動画の処理速度が倍増し、単一の H100 GPU 上で 1 秒あたり 16 フレームから 32 フレームへのスループット向上を実現します。その結果、SAM 3.1 は複雑な動画におけるリアルタイムオブジェクト追跡を可能にしつつ、全体の GPU リソース要件を削減し、より小型でアクセスしやすいハードウェアでも高性能アプリケーションの実行を現実的なものとしています。 ![image](https://scontent-nrt1-2.xx.fbcdn.net/v/t39.2365-6/658783005_976222541732621_4396625680307590489_n.png?_nc_cat=104&ccb=1-7&_nc_sid=e280be&_nc_ohc=-zPN_vMFPywQ7kNvwGdeVpM&_nc_oc=AdoIOONY8RQOWvlR8m91Q71mmU95sC3Ut3CP2P1wkIg0yW9LA-zER2te7jck3_QwbvM&_nc_zt=14&_nc_ht=scontent-nrt1-2.xx&_nc_gid=2JpRZgZC-1cWlCWpcinphA&_nc_ss=7b289&oh=00_Af2LLimeeRuZyjB8UOnyvrumwau9iUZJvbHZ4HvYvZjJGw&oe=6A08911D) この改善は、モデルが複数のオブジェクトを扱う方法の転換によるものです。従来では各オブジェクトに専用のパスが必要でしたが、マルチプレクシングを採用した SAM 3.1 では、追跡対象となるすべてのオブジェクトをまとめて処理するため、冗長な計算やメモリのボトルネックが解消されます。このグローバル推論アプローチにより、パフォーマンスが効率化され、混雑したシーンにおける精度も向上します。 コミュニティの皆様には、SAM 3.1 のモデルチェックポイントのダウンロード、SAM 3 コードベースおよび研究論文へのアップデート確認、そして Segment Anything Playground での更新版モデルの実機テストを推奨いたします。 [SAM 3.1 Model Checkpoint](https://huggingface.co/facebook/sam3.1)[SAM 3 Codebase](https://github.com/facebookresearch/sam3)[SAM 3 Research Paper](https://arxiv.org/abs/2511.16719)[Explore the Playground](https://www.aidemos.meta.com/segment-anything) ## Meta Segment Anything Model 3 および Segment Anything Playground の紹介 要点: - Meta Segment Anything Model 3（SAM 3）を発表します。これは、テキスト、例示、視覚的なプロンプトを用いて画像および動画内のオブジェクトを検出・セグメンテーション・追跡するための統一モデルです。 - 今回のリリースの一環として、SAM 3 のモデルチェックポイント、評価用データセット、ファインチューニングコードを公開します。 - また、Segment Anything Playground という新しいプラットフォームも導入しました。これは、誰でも SAM の機能を理解し、クリエイティブなメディア加工のための最先端 AI モデルを実験できる環境を提供するものです。 - Instagram の動画作成アプリ「Edits」では、まもなく SAM 3 を活用した新エフェクトが利用可能になります。これにより、クリエイターは動画内の特定の人物やオブジェクトに効果を適用できるようになります。また、SAM 3 に基づく新しい創作体験は、Meta AI アプリの「Vibes」およびウェブ上の meta.ai にも順次導入されます。 - 別途、単一画像からの 3D オブジェクトおよび人間の再構築を可能にするオープンソースモデル、コード、データセットのスイートである SAM 3D も公開しました。これは、物理世界のシナリオにおける grounded 3D 再構築（grounded 3D reconstruction）の新たな基準を設定するものです。詳細は SAM 3D のブログ記事をご覧ください。 - SAM 3 と SAM 3D は、Facebook Marketplace の新機能「View in Room」を駆動しています。これにより、ユーザーは購入前に、ランプやテーブルなどのインテリアアイテムが自身の空間にどのように映るか、スタイルやフィット感を視覚化できるようになります。 - Conservation X Labs および Osa Conservation とのパートナーシップのもと、SAM 3 を活用した野生生物モニタリング用の初の公開動画データセットも立ち上げました。 私たちは、画像および動画の理解を前進させる、Segment Anything モデルコレクションの次世代版を発表します。Segment Anything Model 3（SAM 3）は、テキストや見本プロンプトなど、これまで最も多く要望されていた機能の一部を導入し、画像や動画全体にわたるあらゆる視覚概念の検出、セグメンテーション、追跡を可能にしました。また、より多くの人々が当社のモデルを利用しやすくすることも目指しています。今回のリリースの一環として、最先端のモデルをメディア加工に応用して実験できる最も簡単な方法である [Segment Anything Playground](https://www.aidemos.meta.com/segment-anything) をお披露目します。 本日、SAM 3 のモデル重み（weights）、Segment Anything Playground 上のデモ、および SAM 3 の構築方法を詳細に解説した [研究論文](https://ai.meta.com/research/publications/sam-3-segment-anything-with-concepts/) を公開いたします。さらに、コミュニティのための新たなベンチマークとして機能する [Concepts との組み合わせによる Segment Anything（SA-Co）評価データセット](https://github.com/facebookresearch/sam3/blob/main/README.md#sa-co-dataset) も共有します。別途、物体およびシーン再構築用のモデルと、人間の姿勢・形状推定用のモデルを含む SAM 3D も公開いたします。今回のリリースに関する詳細は、[SAM 3D のブログ記事](https://ai.meta.com/blog/sam-3d)でご確認ください。 Meta では、これらの技術的進展を活用して、次世代のクリエイティブメディアツールの構築に取り組んでいます。SAM 3 と SAM 3D は、Facebook Marketplace の新機能「View in Room」を実現するために利用されており、ユーザーが購入前に自宅空間にランプやテーブルなどのインテリアアイテムを配置した際のスタイルやフィット感を視覚的に確認できるよう支援しています。SAM 3 によって可能になる新たな創作体験は、Meta AI アプリの「Vibes」およびウェブ版 [meta.ai](https://www.meta.ai/) に順次導入されます。ここでは、AI を活用したビジュアル作成ツールを利用したり、既存の AI 生成動画をリミックスしたりすることが可能です。また、間もなく Edits アプリでも SAM 3 を活用した新しいエフェクトを導入する予定です。クリエイターは、動画内の人物やオブジェクトに動的なエフェクトを適用できるようになり、複雑な編集ワークフローをワンタップで完了させることが可能になります。 Meta Segment Anything Model 3 の紹介 画像や動画内の言語と特定の視覚的要素を結びつけることは、コンピュータビジョンにおける主要な課題の一つです。従来のモデルは、固定されたテキストラベルセットを用いたオブジェクトセグメンテーションに焦点を当てることが多く、その結果、ユーザーの多様な要望に応える能力が制限されています。特に、ユーザーの要求には事前定義されたリストに含まれていない概念のセグメンテーションが含まれることが頻繁にあります。つまり、既存モデルは「人」のような一般的な概念であればセグメント化できますが、「縞模様の赤い傘」といったより微妙なニュアンスを持つ概念については対応に苦慮します。 SAM 3 は、テキストや見本画像によるプロンプトで定義された概念のすべてのインスタンスを検出・セグメントする「プロンプタブルな概念セグメンテーション」機能の導入により、これらの制限を克服します。SAM 3 は、オープンボキャブラリの短い名詞句であるテキストプロンプトと、画像見本プロンプトを受け付けることで、固定されたラベルセットという制約を排除しました。大規模語彙における検出およびセグメンテーション性能を評価するため、私たちは「Segment Anything with Concepts (SA-Co)」ベンチマークを作成しました。これは、画像および動画内でのプロンプタブルな概念セグメンテーションを対象としたものであり、以前のベンチマークと比較してはるかに大規模な語彙の概念認識をモデルに要求するものです。今回のリリースの一環として、再現性とオープンエンドな視覚セグメンテーションにおけるさらなるイノベーションを支援するため、SA-Co を一般公開します。 SAM 3 は、[SAM 1](https://ai.meta.com/blog/segment-anything-foundation-model-image-segmentation/) および [SAM 2](https://ai.meta.com/blog/segment-anything-2/) で導入されたマスク、ボックス、ポイントといったビジュアルプロンプトに加え、単純な名詞句や画像見本などの概念プロンプトなど、多様なプロンプトモダリティをサポートします。これにより、セグメンテーションの柔軟性と使いやすさが向上し、特にテキストだけでは記述が困難または稀な概念に対してその効果が顕著です。 SAM 3 は、短い名詞句で記述されたオブジェクトのセグメンテーションにおいて卓越した性能を発揮し、インタラクティブかつ自然な設定における一般的なユーザー意図を反映しています。また、当モデルは、より複雑なプロンプト（例：「手にお土産箱を持っていないが、座っている人々」）で記述されたオブジェクトのセグメンテーションを行うための、マルチモーダル大規模言語モデル向けの知覚ツールとしても利用可能です。 全体として、SAM 3 は、プロンプト可能概念セグメンテーションベンチマークである SA-Co において、既存システムに対して画像および動画の両方で 2 倍の性能向上をもたらすとともに、インタラクティブな視覚セグメンテーションタスクにおける以前の SAM の能力も改善しています。 AI と人間のアノテーターを用いた新規データエンジンの構築 広範なカテゴリと視覚ドメインにわたって、セグメンテーションマスクおよびテキストラベル付きの高品質アノテーション画像を取得することは大きな課題です。このようなデータは、ウェブ上でスケールして存在していません。オブジェクトカテゴリのすべての出現を網羅的にマスキングすること（特に動画においては）は、人間のアノテーターにとって時間と労力を要する複雑なタスクです。さらに、複数の視覚ドメインにわたる大規模で多様な語彙に対する包括的なカバレッジを構築するには、相当な時間とリソースが必要です。全体として、このプロセスは時間がかかり、かつ高コストとなります。 この課題に対処するため、SAM 3、人間のアノテーター、およびループ内の AI モデルを活用したスケーラブルなデータエンジンを作成しました。これによりアノテーションの速度が劇的に向上し、ネガティブプロンプト（画像や動画に存在しない概念）では人間の約 5 倍、ポジティブプロンプトにおいても困難な微細なドメインにおいて 36% の高速化を実現しています。この人間と AI を組み合わせたシステムにより、400 万を超えるユニークな概念を備えた大規模で多様なトレーニングセットの作成が可能となりました。 ![image](https://scontent-nrt6-1.xx.fbcdn.net/v/t39.2365-6/581932231_2350994468688058_5091902097566884080_n.png?_nc_cat=106&ccb=1-7&_nc_sid=e280be&_nc_ohc=qyBL_dvy8aIQ7kNvwFdCjdI&_nc_oc=AdqA-RodhDnF_6ZJGvDRFiL00M1FrDWmwGEdmpm-xj62elvgJWt8tMgBic9K3N1NVtE&_nc_zt=14&_nc_ht=scontent-nrt6-1.xx&_nc_gid=2JpRZgZC-1cWlCWpcinphA&_nc_ss=7b289&oh=00_Af10-VK6Ep6Isuq7hRZYglyFVw92fZ40XAdpDZgZNEmmQA&oe=6A089871) SAM 3 や [Llama](https://www.llama.com/) ベースのキャプション生成器などの AI モデルからなるパイプラインが、画像や動画を自動的にマイニングし、キャプションを生成してテキストラベルに解析し、上記の図で「候補」として示される初期セグメンテーションマスクを作成します。 人間と AI の注釈作成者がその後、これらの提案を検証・修正し、データセットのカバレッジを急速に拡大しつつ、データの品質を継続的に向上させるフィードバックループを実現します。AI による注釈作成は、Llama 3.2v モデルを基盤としており、これは注釈作成タスクにおいて人間の精度と同等かそれ以上の性能を発揮するように特別に訓練されたものです。具体的には、マスクの品質が高いかどうかの検証や、画像内の概念に関するすべてのインスタンスが網羅的にマスク処理されているかの確認などが含まれます。 一部の人間による注釈作成タスクを AI 注釈作成者に委譲することで、人間のみで構成される注釈作成パイプラインと比較してスループットを倍以上に引き上げることができます。また、AI 注釈作成者は自動的に簡単な事例をフィルタリングし、現在の SAM 3 のバージョンが失敗する最も困難なケースに人間の注釈作成リソースを集中させることができます。さらに、Wikipedia に基づく概念とその関係性を定義した辞書である「概念オントロジー」を活用して、テキストラベルを共有された概念空間へマッピングし、データ内の頻度の低い概念のカバレッジを増大させます。 このアプローチの有効性は、アブレーションスタディ（要素除去実験）を通じて検証され、AI 注釈と人間注釈の両方を統合することでモデル性能に測定可能な改善がもたらされることを示しています。さらに、完全に自動化されたデータエンジンを用いてデータを生成し、新たな視覚領域やテキスト領域へのカバレッジを自動的に拡大できることも実証されています。 モデルアーキテクチャ プロンプト可能概念セグメンテーションに優れたモデルを構築するには、個別のタスク固有モデルと比較してすべてのタスクにおいて高いパフォーマンスを維持する必要があります。これは、潜在的なタスク間の競合により、モデル設計およびトレーニングレシピの開発において大きな課題となります。例えば、同一概念の他のインスタンスからそれらを区別する視覚的特徴を必要とするインスタンスの再検出・追跡タスクは、概念のすべてのインスタンスに共通する視覚的特徴を必要とする概念検出タスクと競合します。すべてのタスクを統合されたモデルで解決可能にするためには、適切なアーキテクチャを見つけることが重要なステップです。さらに、新しいタスクやデータが導入される際に壊滅的な忘却（catastrophic forgetting）などの問題を防ぐために、強力なデータレシピの設計も不可欠です。 SAM 3 モデルのアーキテクチャも、Meta からの多くの先行する AI の進歩の上に構築されています。SAM 3 のテキストエンコーダーと画像エンコーダーは、[Meta Perception Encoder](https://ai.meta.com/blog/meta-fair-updates-perception-localization-reasoning/) に由来しており、これは今年 4 月に公開されたオープンソースモデルで、画像認識や物体検出といった日常業務を支援できるより高度なコンピュータビジョンシステムの構築を可能にします。Meta Perception Encoder を採用したことで、以前のエンコーダーの選択肢と比較して性能が大幅に向上しました。検出器コンポーネントは、物体検出にトランスフォーマー（transformer）を初めて使用した [DETR](https://github.com/facebookresearch/detr) モデルに基づいています。[SAM 2](https://ai.meta.com/blog/segment-anything-2/) で使用されたメモリバンクおよびメモリエンコーダーは、トラッカーコンポーネントの基礎となっています。また、私たちの研究を推進するために、データセット、ベンチマーク、モデル改善など、いくつかのオープンソースコンポーネントも利用しました。 結果 SAM 3 は、画像（SA-Co Gold サブセットで測定）および動画（SA-Co Video で測定）における概念セグメンテーション性能において飛躍的な向上を達成し、既存モデルと比較して cgF1 スコア（モデルが概念を認識し局在化できる度合いを示す指標）を倍増させました。SAM 3 は、Gemini 2.5 Pro に代表される基盤モデルや、GLEE、OWLv2、LLMDet といった強力な専門ベースラインを常に上回っています。ユーザー調査では、最も強力なベースラインである OWLv2 と比較して、約 3 対 1 の割合で SAM 3 の出力が好まれる結果となりました。また、SAM 2 の視覚セグメンテーションタスク（マスクからマスキレットへ、ポイントからマスクへ）においても最先端の結果を達成し、SAM 2 に代表される先行モデルの最先端性能に匹敵するか、あるいはそれを上回る成果を示しました。さらに、ゼロショット LVIS（未掲載）やオブジェクトカウント（CountBench で掲載）といった困難なベンチマークでも顕著な向上が見られました。 ![image](https://scontent-nrt6-1.xx.fbcdn.net/v/t39.2365-6/581946541_823890960270664_7677762648668518257_n.png?_nc_cat=111&ccb=1-7&_nc_sid=e280be&_nc_ohc=HMWmbsp8X34Q7kNvwEK-TJp&_nc_oc=Ado9RAKF5wWA9lP3MBBYi4VC01znnrAIWTEJj_fJxu8RH66q1azha5B1bCHiW2Nyem4&_nc_zt=14&_nc_ht=scontent-nrt6-1.xx&_nc_gid=2JpRZgZC-1cWlCWpcinphA&_nc_ss=7b289&oh=00_Af0F-xtbqLkWLj8lyzn5BClANYKjjah5Wb8MfZ0NVLeIIg&oe=6A088E1B) この優れた性能は、高速推論を伴っています。SAM 3 は H200 GPU 上で単一画像に対して 100 個を超える検出オブジェクトがある場合でも 30 ミリ秒で動作します。動画においては、推論レイテンシはオブジェクト数に比例してスケーリングし、約 5 つの同時実行オブジェクトに対してほぼリアルタイム性能を維持します。 また、SAM 3 をツールとして活用するマルチモーダル大規模言語モデル（MLLM）である「SAM 3 Agent」を用いることで、「画像の中で馬を制御・誘導するために使用されている物体は何ですか？」といった複雑なテキストクエリのセグメンテーションも可能であることを示しています。この MLLM は、SAM 3 をプロンプトするために名詞句クエリを提案し、返されたマスクを分析して満足いく結果が得られるまで反復処理を行います。参照表現セグメンテーションや推論セグメンテーションのデータに対する学習を行わずとも、ReasonSeg（上記参照）や OmniLabel といった、推論を要する困難な自由テキストセグメンテーションベンチマークにおいて、先行研究を上回る性能を発揮します。 科学分野への応用 SAM 3 はすでに科学分野でのユースケースに応用されています。例えば、Meta は [Conservation X Labs](https://www.conservationxlabs.com/) と [Osa Conservation](https://osaconservation.org/) と協力し、現場の野生生物モニタリングと SAM 3 を組み合わせることで、研究に即した生映像データセットを構築しました。一般公開されている [SA-FARI データセット](https://www.conservationxlabs.com/sa-fari) には、100 種以上の動物に関する 10,000 本を超えるカメラトラップ動画が含まれており、各フレーム内のすべての動物に対してバウンディングボックスとセグメンテーションマスクが付与されています。[FathomNet](https://www.fathomnet.org/) は MBARI が主導するユニークな研究協力プロジェクトであり、海洋探査のための AI ツールの発展に取り組んでいます。水中画像に特化したセグメンテーションマスクと新しいインスタンスセグメンテーションベンチマークが、現在 [FathomNet データベース](https://database.fathomnet.org/fathomnet/) を通じて海洋研究コミュニティで利用可能です。SA-FARI と FathomNet は、広範な AI コミュニティによって、陸上および海洋における野生生物の発見・監視・保全に向けた革新的な新手法の開発に活用できます。 オープンソースコミュニティによる今後の探索領域 SAM 3 は、単純なテキストフレーズを用いて画像や短い動画内のオブジェクトをセグメント化する上で強力なパフォーマンスを示していますが、モデルのパフォーマンスはさらに向上させる余地があり、特に困難なシナリオにおいてその可能性が広がります。 ## SAM 3 は、ゼロショット方式で微細なドメイン外概念（例：「血小板」のように専門知識を要する特定の用語の識別など）への一般化に苦戦します。これは特に医療や科学画像を含むニッチな視覚領域において顕著です。私たちは SAM 3 の能力を拡張するための戦略を実験しましたが、少量のアノテーション済みデータでファインチューニングを行うと、モデルが新しい概念や視覚ドメインに素早く適応できることが分かりました。コードリリースの一環として、コミュニティが自らのユースケースに合わせて SAM 3 を適応させるために活用できるファインチューニング手法を共有します。また、Roboflow と連携し、ユーザーがデータのアノテーション、ファインチューニング、そして特定のニーズに応じた SAM 3 のデプロイを容易に行えるよう支援しています。 ## さらに、SAM 3 は「ハードカバーの本」のような短いオープンボキャブラリープロンプトに対しては良好に動作しますが、「上段の右から二番目の本」といった長く複雑なフレーズには対応していません。ただし、マルチモーダル大規模言語モデルと組み合わせることで、推論を要するケースを含む、より長く複雑な記述をサポートするようにモデルを訓練することが可能です。 動画に適用すると、SAM 3 は SAM 2 スタイルのマスクレットを用いてすべてのオブジェクトを追跡します。これは、追跡対象となるオブジェクトの数に対して SAM 3 の推論コストが線形にスケールすることを意味します。各オブジェクトは個別に処理され、共有されるフレーム単位の埋め込みのみを利用し、オブジェクト間の通信は行われません。多くの視覚的に類似したオブジェクトが存在する複雑なシーンにおいて、共有されたオブジェクトレベルの文脈情報を組み込むことで、効率性とモデル性能の向上が期待できます。 この分野の研究をさらに推進するためには、まだ多くの取り組みが必要です。私たちは、SAM 3 を活用して構築し、SA-Co ベンチマークを採用し、これらの新しいリソースを活用することで、AI コミュニティの皆様にもご参加いただき、これらの機能をさらに発展させることを願っています。共にオープンサイエンスを加速させ、人々や社会に有益なインパクトのある新たな体験とユースケースを構築していきましょう。 Segment Anything Playground で SAM 3 を探索する 私たちは、これらの研究成果をすべて「Segment Anything Playground」という新しいプラットフォームに統合しました。このプラットフォームを使えば、技術的な専門知識がなくても誰でも最新のモデルを試すことができます。ゼロから始めるフローでは、画像やビデオのアップロードが可能で、利用可能なテンプレートのいずれかを使ってすぐに作業を開始することもできます。これには、顔・ナンバープレート・画面をピクセル化するといった実用的なオプションに加え、スポットライト効果の追加、モーショントレイルの付与、特定のオブジェクトの拡大表示など、楽しいビデオ編集も含まれています。さらに、これらのテンプレートは視覚データの注釈付けを支援し、SAM 3 のストレステストを行う手段としても機能します。私たちは、メディア加工のためのモデル実験を最も簡単に行える場として SAM Playground を設計しました。人々がどのように用它して創造性を高めてくれるのか、今から楽しみです。 SAM 3 は、[Meta の Aria Gen 2 研究用グラス](https://www.projectaria.com/glasses/) などのウェアラブルデバイスによって撮影されたファーストパーソン映像においても高い性能を発揮します。これにより、ファーストパーソン視点からのオブジェクトの堅牢なセグメンテーションとトラッキングが可能となり、ウェアラブルデバイスで撮影されるシーン特有の動的な課題にも対応できます。[Aria Gen 2 Pilot Dataset](https://www.projectaria.com/datasets/gen2pilot/) から選ばれた録画の一部が現在、Segment Anything Playground で紹介されています。この統合は、人間視点からの世界理解が不可欠である機械知覚、文脈 AI、ロボティクスなどの分野における研究や応用において SAM 3 が持つ価値を示すものです。 この動画では、SAM 3 Aria Gen 2 の出力を示すために「hands」というプロンプトが使用されています。

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト