火山引擎が多模態 AI 処理を内蔵した「SenseFlow」をオブジェクトストレージに搭載

火山引擎存储 2026-08-10 18:30 北京

能力速览：火山引擎对象存储 TOS 推出 SenseFlow（内容感知与处理）

SenseFlow 是内建于 TOS 的多模态智能处理工作台，只需配置一条规则即可启用。过去，多模态大模型、向量检索和媒体处理能力都需要独立搭建；如今这些能力已统一集成至存储侧。桶内的图片、视频、音频无需导出，即可就地完成理解、检索与加工。

对象存储是 AI 时代的数据底座。近年来，Data+AI、多模态 AIGC 以及 Agent 应用集中爆发，客户存入 TOS 的图片、视频和音频数量快速增长，新的业务难题也随之而来：数据虽然已经存下，却看不懂、找不到，更难以直接使用。例如，回溯一段“穿红衣人员闯入”的监控录像，从千万素材中检索“海边日落”的图片，或是批量完成视频字幕擦除、抽帧、转码等任务。面对这些诉求，传统对象存储都解决不了。

一、自建链路，成本像一座冰山：水面上是“接入”，水面下才是大头

梳理上述业务诉求不难发现，无论是安防录像回溯、媒资素材检索，还是批量视频处理，本质上均要求存储系统“看懂”非结构化数据内容，并按语义完成检索与加工。传统对象存储只保障数据的可靠存取，无法理解对象内部信息。因此，客户不得不在存储之外自行搭建一整套数据处理链路，才能支撑此类业务。

客户常说的只是一句“接入一个 AI 能力”，这不过是露出水面的尖角。真正沉在水面之下的，是一条逐环衔接、持续产生隐性投入的自建链路，每一环成本都不小：

• 环节：客户需要自己做的事 / 隐含成本
• 数据搬迁：把桶内的存量与增量对象导出到独立的处理集群 / 带宽、时延，以及数据的二次存储
• 算力与模型：采购、部署 GPU 与多模态模型服务，并持续调优 / 资源常年占用，运维门槛高
• 内容理解：对接 OCR、视频分析、VLM 等模型，从对象中提取语义 / 模型选型复杂，效果难保证
• 检索体系：自建向量库、维护索引，以此支撑语义检索 / 额外系统建设，数据再存一份
• 编排与消费：用消息队列、函数把各环节串起来，并将结果回写存储 / 链路长、易出错、难排查
• 权限与计量：在多套系统之间对齐权限、按用户拆分用量 / 策略难维护，成本算不清

上面六个环节大多沉在水面之下。决策时只看到“接入一个能力”的轻巧，上线后才发现，本应聚焦业务的团队，大量精力被耗在基础设施的拼装和维护上。链路每增加一跳，带宽、时延、成本就随之攀升，权限和计量也常年对不齐。最终，一个 AI 能力的上线动辄耗时数周乃至一两个月——水面下的时间与成本，才是真正拖住业务节奏的隐性负担。

成本冰山 · 水面下的隐性投入

コストの氷山：水面に見えるのは AI 機能の追加だけだが、その下には企業が自ら対応すべき 6 つの隠れたコストが潜んでいる。

SenseFlow の設計思想はここにあります。各顧客がストレージの外で再び車輪を造るのではなく、「理解」「検索」「加工」といった機能を TOS（オブジェクトストレージサービス）に直接内蔵させることで、データがバケットから出ることなく、設定ルールを 1 つ追加するだけで即座に検索・利用可能な状態に変換できます。

まずは製品概要を確認し、その実現を支える「ワンクリック展開」と「ストレージと計算の一体化」の 2 つの仕組みを詳しく解説します。その後、インテリジェントセキュリティ、メディア資産管理、カスタムワークフローという 3 つの実務シナリオを通じて、実際の価値がどう発揮されるかを見ていきましょう。

二、製品ポジション：TOS に内蔵されたマルチモーダル・インテリジェンス処理プラットフォーム

SenseFlow は TOS の外側に設置される AI プラグインではありません。ストレージに内蔵され、バケット（Bucket）と連携して動作するインテリジェント機能のレイヤーです。

製品の核となる抽象化単位は「ルール（Rule）」のみです。これは「データ範囲＋テンプレート＋ワークフロー」を指します。ユーザーが対象データを指定し、シーンに合わせたテンプレートを選択すれば、既存および新規のオブジェクトが自動的に取り込まれます。データの移転も独自パイプラインの構築も不要で、「理解」「検索」「加工」といった機能がすぐに使えます。

一言でまとめると、TOS を単なる「オブジェクトの保存場所」から「オブジェクトを理解するプラットフォーム」へと進化させ、バケット内でデータと知識を直接結びつけるものです。

三、ストレージネイティブの強み：データ原地でのインテリジェンス化

3.1 ワンクリック展開 —— テンプレート選択で即座に有効化

従来のアプローチでは、「理解」「検索」「加工」の連携を実現するために、ベクトルデータベース、OCR、動画分析、通知サービスなど複数のシステム間を頻繁に接続する必要がありました。利用可能なパイプラインを構築するだけでも数週間かかるのが常でした。

SenseFlow はこれらの機能を 1 つの設定ユニットに集約しました。使い方は TOS のライフサイクルルールと似ています。データ範囲の指定、シーンテンプレートの選択、事前設定されたワークフローの確認、そして「有効化」ボタンを押すだけで、4 ステップでルールが完成します。これにより、既存および新規オブジェクトは自動的に取り込まれ、データの移転や独自パイプラインの構築、外部キーの管理は一切不要になります。

同じバケットに複数のルールを同時にマウントでき、それぞれ異なるデータ範囲とテンプレートに紐付けることができます。例えば、「cameras/*」をインテリジェントセキュリティ向けに、「photos/*」をスマホのアルバム用に割り当てれば、両方のルールは互いに干渉せず、独立して動作します。これにより、同一バケット内の用途別のデータを明確に分けて管理できるようになります。

ルールが有効化されると、それに伴う処理能力も同時に稼働します。これらの能力はバラバラな個別のツールではなく、相互に連携した統合システムです。データがバケットに入れば、自動的に順次フローして処理されます。以下に主要な機能の一覧を示します。

• 機能段階：役割 / 技術概要
• コンテンツ認識：多モーダル AI モデル（VLM など）を呼び出して画像や動画の内容を理解し、画面要素と重要なイベントを抽出 / ビデオのフレーム切り出し ＋ VLM による構造化理解
• ファイル注釈：各ファイルに対して約 100 文字の詳細説明と約 20 文字の簡潔なサマリーを自動生成し、検索可能な標準メタデータとして蓄積 / 構造化フィールドをオブジェクトのカスタムメタデータ（Meta）に書き戻す
• マルチモーダル検索：セマンティック特徴と説明文をベクトル化してインデックスを作成。自然言語による「テキストで画像を検索」「テキストで動画を検索」に対応し、ミリ秒単位で結果を返す / キーワード ＋ 意味 ＋ ハイブリッド検索、および再ランク付け
• コンテンツ生成：トランスコード、字幕除去、フレーム抽出、GIF 生成、音声認識などのオペレーターを編成。ストリングまたは並列で組み合わせ、結果を TOS に書き戻す / プリセットワークフロー ＋ オペレーター編成
• ビジネス消費：処理結果をダウンストリームシステムに連携し、イベント通知によって自動で次のプロセスをトリガー。完全なデータ消費チェーンを形成 / Webhook / イベント購読 / サイト内メッセージ

3.2 存算一体：データをバケットから出さず、その場で処理

これが SenseFlow と「外部 AI プラットフォーム」の決定的な違いです。従来の外部アプローチは「取り出して→処理して→書き戻す」という流れで、データがストレージと計算リソースの間を往復します。これにより帯域幅、レイテンシ、コストが積み重なってしまいます。一方、SenseFlow は認識から加工までをすべて TOS 内部で行うため、処理結果もユーザー自身のバケット内に直接残ります。

従来のアプローチ：取り出し→処理→書き戻し

データは独立した検索システムやナレッジベース、処理システムへ移動させる必要があり、リンクが長く設定も複雑です。帯域幅とレイテンシに負荷がかかり、権限管理が統一されにくく、結果のフィードバックも弱くなります。

SenseFlow：その場でのクローズドループ

データの移動は不要で、自然な形でクローズドシステムを構築し、すぐに利用可能です。帯域幅の使用量とレイテンシが同時に削減され、AI アプリケーションの導入期間も「数週間」から「数日」へと短縮されます。

四、ビジネスシーンでの実践：汎用テンプレートとカスタムワークフロー

#### 4.1 インテリジェントセキュリティ：膨大な録画データから「一言で事件を遡る」

カメラ端末側でビデオストリームを断片化し、TOS に継続的にアップロードします。データ量は膨大で TTL（生存時間）も短く、連続録画とアラート時のスナップショットが混在しています。過去には、膨大な録画の中から特定のイベントを探す際、人手による逐次的な確認しか手段がありませんでした。

SenseFlow のインテリジェントセキュリティテンプレートでは、5 つのワークフローをプリセットしています。「クラウド録画のインテリジェント検索」「インテリジェントアラート巡回」「動画の説明サマリー生成」「毎日の自動要約」「動画へのインテリジェント質問」です。新しいデータがバケットに入ると、「ビデオフレーム切り出し → VLM による動画理解 → ベクトル化 → インデックス書き込み」という処理が自動的に実行されます。また、アラート時のスナップショットはリアルタイムで「不審人物」「火災・煙」などの注目点と比較され、定期的に当日の録画要約も生成されます。以前は画面を注視し続けていたセキュリティ運用担当者は、今では自然言語で一言質問するだけで結果を得ることができます。

実践事例：監視カメラ映像の自動検索サービス構築

あるセキュリティ企業は、多数のカメラによる録画データや警報時のスナップショット画像、そしてデバイスごとのメタデータを保有しています。これらのデータは通常、時間軸で分割されオブジェクトストレージに書き込まれ、7〜30 日という期間でローリング保存されています。

従来の場合、膨大な録画の中から「特定の時間帯に誰かが入室したか」「車両や火災、転倒、ヘルメット未装着などの事象が発生したか」を検索するには、独自に動画のフレーム抽出、モデル呼び出し、タグ付けライブラリ、ベクトルデータベース、検索インターフェース、通知連携などを構築する必要がありました。工程コストは膨大であり、新たな業務ルールが追加されるたびに処理フローを見直す必要がありました。

SenseFlow はこの一連のワークフローを TOS（オブジェクトストレージ）バケット内に統合しました。オブジェクトがバケットに格納されると、自動的に知覚・インデックス化・事象判定・結果の書き込みがトリガーされ、録画データは「時間軸でしか検索できないファイル」から、「意味検索やルール処理の対象となるイベント資産」へと進化します。

ソリューションのフロー：

• エンド側のカメラが連続録画をスライスし、イベント発生時のスナップショット画像を TOS バケットへアップロードします。
• バケットには SenseFlow のインテリジェントセキュリティテンプレートを設定し、プレフィックスやイベントディレクトリなどの条件で処理範囲を限定します。
• SenseFlow は新規オブジェクトに対して自動的に動画のフレーム抽出、画像・動画の理解、テキストのベクトル化、タグ付けインデックス化を実行します。
• クライアントプラットフォームは、既存の録画再生機能を変更することなく、自然言語による検索、イベントフィルタリング、日次サマリー、そしてスマート Q&A の入口を追加できます。

4.2 媒資管理 —— 素材のアップロードと同時にタグ付け、派生処理、検索が可能に

ショートドラマやメディア資産、UGC（ユーザー生成コンテンツ）プラットフォームなどの素材庫は、規模が数百万から数千万件に及ぶことも珍しくありません。字幕の除去、フレーム抽出、トランスコード、テキストによる動画検索などは日常的な必須要件です。

SenseFlow の媒資管理テンプレートにより、素材をアップロードする瞬間に加工処理が完了します：

① コンテンツ知覚

ドキュメント、画像、ビデオは書き込まれると同時に多モーダル理解がトリガーされ、セマンティックインデックスと逆インデックスが構築されます。

② 派生処理

字幕除去、トランスコード、フレーム抽出、音声認識などの演算子が自動的に実行され、生成物は指定されたパスに保存されます。

③ セマンティック検索

一言で動画を検索できるほか、字幕や OCR 結果、タグ、時間軸から素早く利用可能な断片を特定することも可能です。

実践事例：短編漫画ドラマ『Seedance』の動画自動処理

短編漫画ドラマのクライアントは、火山方舟 Seedance を活用して動画を大量生成しています。しかし、生成された素材が増えるにつれ、制作チームは以下の 3 つの高頻度な課題に直面しました。

1. 素材生成コストの抑制：一部の素材は低画質で生成されるため、後工程で高画質版が必要になることがあります。
2. 字幕付き素材への対応：字幕を消すために再生成すると、追加のコストが発生します。
3. 素材の迅速な検索と再利用：ファイル名やディレクトリ構造だけでは、物語・キャラクター・シーン・アクションなどの要件に合致する素材を素早く見つけることが困難です。

SenseFlow は、TOS（オブジェクトストレージ）データフロー上に動画処理能力を配置します。動画素材がユーザーが設定したバケットに格納されると、ワークフローに従って自動的に必要な演算子を呼び出し、処理結果を再度書き込みます。これにより、素材は「生成後に人手で整理する必要があるファイル」から、「制作工程へ直接投入でき、意味検索も可能なコンテンツ資産」へと進化します。

処理フローの概要：

• クライアントの業務システムが火山方舟 Seedance を呼び出して動画を生成し、TOS データ購読機能を通じて、自動的にクライアントの TOS バケットへ配信されます。
• クライアントは、TOS バケット、指定されたプレフィックス、または特定の ObjectSet に基づいて SenseFlow のルールを構成します。これにより、新規オブジェクトが処理対象範囲に自動で含まれます。
• SenseFlow は、クライアントの構成ルールに基づき、動画の超解像（アップスケール）、字幕消去、多モーダル理解、インデックス構築を自動的に実行します。
• 処理後の動画は、ユーザーが設定したパスへ自動的に書き戻され、後工程の制作プラットフォームで選定・検索・編集・素材の再利用が可能になります。

4.3 カスタムワークフロー：演算子をレゴブロックのように自由に組み合わせて処理チェーンを構築

事前定義されたテンプレートでは要件を満たせない場合、SenseFlow はビジュアルなカスタムオーケストレーションを提供します。キャンバス上で演算子ノードを引き出して接続するだけで、「入力ソース → 演算子編成 → 出力」という独自の処理チェーンを構築できます。

演算子ライブラリには、画像処理、動画処理、AI 理解、ドキュメント処理、ベクトル化、生成、通知など多岐にわたるカテゴリの一般的な演算子が蓄積されています。動画のフレーム切り出し、VLM（Vision Language Model）による理解、OCR、字幕消去、アニメーション生成なども含まれています。各演算子は個別に API 仕様を確認したりデバッグしたりでき、保存すればテンプレートで参照可能となり、ルール構築に活用できます。

実践事例：具身知能トレーニングにおける多モーダルデータの処理と管理

ある具身知能（ロボティクス）のクライアントはスタートアップ企業です。同社は、価値の高いモデル訓練やチューニングに多くのリソースを割くべきところ、データ処理や管理に時間を費やしていました。SenseFlow のカスタムワークフローを活用し、火山エンジンが提供する豊富な AI 製品と組み合わせることで、データの自動処理・柔軟な管理・効率的な利用を実現しました。

実装フロー

1. 端末側で TOS の SDK を統合し、データを直接パブリックネットワークまたは専用回線経由で Media Bucket にアップロードします。
2. 一部の特殊ケースでは、Seedance 2.0 で生成した動画を、設定済みのデータ購読ルールに基づいて自動的に Media Bucket に保存します。
3. Media Bucket では SenseFlow のカスタムワークフローを設定し、VLM（Vision Language Model）による自動タグ付けを行います。これにより、学習に活用するフレーム画像が生成され、ベクトル化されたデータのインデックス作成と検索が可能になります。
4. 社内の開発者は、火山引擎の ArkClaw を介して TOS の Context Bucket と Vector Bucket に接続し、各業務シーンに応じたデータ検索ニーズを満たします。
5. 企業独自のデータセットプラットフォームは、Context Bucket、Vector Bucket、Media / Clip Bucket へ連携することで、学習用データの効率的な管理と活用を実現します。