ByteDance、オブジェクトストレージ管理ツール「CloudLens for TOS」を公開

火山引擎存储 2026-08-31 19:00 北京

「保存できる」から「見える化」へ

オブジェクトストレージ TOS は、ログアーカイブや音声・動画素材、バックアップファイル、データレイク、AI データセットなど、ますます多くの重要データを担うようになっています。バケット数やオブジェクト規模、ディレクトリ階層が拡大するにつれ、チームの課題は単なる「容量不足」から、より具体的な運用とガバナンスの問題へと変化しています。

• トラフィックやリクエストが急増した場合、それはどのバケット、クライアント、あるいはオブジェクトに起因するのか？
• エラーが発生しているのはいつで、どのようなステータスコードや操作タイプが集中しているのか？
• 容量の増加は、どのリージョン、ストレージタイプ、バケット、またはプレフィックス（Prefix）で起きているのか？
• 過去のバージョンや未結合のスナップショットがどれほどのスペースを占有しており、どこから優先的に整理すべきか？

CloudLens for TOS は、ログサービス TLS とオブジェクトストレージの連携によって生まれた TOS 専用のログ観測アプリケーションです。TOS の API リクエストアクセス行動とストレージ資産を、一つの観測フレームワークに統合しました。

「アクセスログ分析」では、TOS API のリクエスト履歴を復元し、「何が起きたのか」「どのような洞察が得られるか」を明らかにします。「データピボット（データ透视）」では、日次統計に基づくストレージ資産の多次元スナップショットを蓄積し、「データが長期的にどのように分布・変化しているか」を把握します。これら 2 つの機能を組み合わせることで、TOS は「ブラックボックス」から、検索可能で分析可能、かつガバナンス可能な状態へと進化します。

アクセスログ分析は、リアルタイムなトラブルシューティングやアクセス解析、セキュリティ監査に適しています。一方、データピボットは容量計画、コスト最適化、資産ガバナンスに活用され、両者の機能は相互に補完し合います。

ログ分析：TOS API リクエストで何が起きたのか？

TOS バケットでログ分析を有効にすると、TOS の API アクセスログがログサービス TLS に書き込まれます。CloudLens for TOS はこれらの詳細ログの上に立ち、リソース使用量、ヒートマップ統計、アクセス解析、セキュリティ分析、検索分析の 5 つの視点を提供します。これにより、チームは全体のトレンドから順に詳細を掘り下げ、最終的には単一のリクエストまで追跡することが可能になります。

• トラフィックやリクエストに異常はないか：読み書きのトラフィック数、リクエスト数、およびバケット TopN を同時に監視し、急増の原因がどのバケットにあるかを迅速に判断します。
• 誰がアクセスし、何を閲覧したのか：PV（ページビュー）、UV（ユニークビジター）、クライアント IP、Referer、そしてホットなオブジェクトを分析し、主要なアクセス主体とコンテンツを特定します。
• リスクの高い操作は追跡可能か：削除、上書き書き込み、スナップショットアップロードなどの敏感な操作に焦点を当て、発信元の IP アドレスやアクセスID を特定します。
• 異常リクエストの復元方法：集約されたグラフから詳細ログへドリルダウンし、ステータスコード、エラーコード、RequestId を組み合わせて単一のリクエストを再現・分析します。

リソース使用量：まずトラフィックとリクエストの全体像を把握する

リソース使用量の監視機能では、以下の主要指標を含むリソース概覧を提供します。

• 読み取りトラフィック、書き込みトラフィック、合計トラフィック、および読み取りリクエスト、書き込みリクエスト、合計リクエストの時系列推移。
• バケットごとのトラフィック/帯域幅 Top1000 およびリクエスト数 Top1000。急増が発生した際は、まず異常な時間窓を確認し、主要な寄与元となるバケットを迅速に特定します。

アクセス頻度の可視化：最もホットなディレクトリを即座に特定

アクセス頻度モニタリング機能を使えば、ホットスポットとなっているディレクトリを素早く見つけることができます。

操作タイプ別の分析でアクセスの傾向を把握

HeadObject、GetObject、PutObject、DeleteObject といった各 Operation のリクエスト割合を表示し、主要なアクセスパターンや異常とみなすべき操作の種類を判断します。

オブジェクトサイズ別でアクセス分布を分析

4KB 未満、8MB～32MB、128MB 超など、異なるサイズ帯ごとのアクセス割合を集計。これにより、ホットスポットが小ファイルに集中しているのか、大ファイルに偏っているのかを特定できます。

ディレクトリ単位での集約でアクセス頻度を可視化

リクエスト数、QPS（1 秒間のクエリ数）、レスポンストラフィック、アクセスされたオブジェクトのサイズなどをディレクトリごとにまとめ、ホットなディレクトリを即座に発見します。

階層ドリルダウン分析に対応

ディレクトリ名をクリックすることで、子ディレクトリへと逐次的に深く入り込み、より細粒度のアクセス分布を確認できます。

アクセス分析：誰が、何をアクセスしているかを理解する

アップロード量、ダウンロード量、削除量、PV（ページビュー）、UV（ユニークビジター）など、主要な指標を網羅したアクセス分析機能を提供します。

クライアント IP、Referer、ファイルのアクセス状況に加え、アップロード・ダウンロード・削除データの Top1000 をリスト化して表示します。

ステータスコードの推移やエラー発生頻度と組み合わせることで、異常の原因が特定のアクセス主体にあるのか、ホットなオブジェクトに起因するのか、あるいはサーバー側の問題なのかを特定できます。

安全分析：高リスク操作の痕跡をたどる

安全分析では、DeleteObject、PostObject、AppendObject、UploadPart、CopyObject、ListObjects、CreateMultipartUpload、CompleteMultipartUpload といった主要な操作に焦点を当て、それらの利用傾向や増加率を統計的に把握します。

ファイル操作の推移、削除されたファイルの数、そして削除元の IP アドレスと時間の関係性を分析することで、「誰が、いつ、どのデータを削除したのか」という重要な問いに対する回答を得ることができます。これにより、業務チームは危険な操作を迅速に特定し、対応することが可能になります。

検索分析：TOS API リクエスト記録の復元

ダッシュボードは異常の検出や特徴の統計に役立ちますが、検索分析機能を使えば TOS API のリクエスト記録をより詳細に復元・確認できます。TLS が提供する検索・分析能力を活用することで、ユーザーは以下のようなことが可能になります。

• 柔軟なクエリと追跡: 時間範囲、Bucket、オブジェクト、操作種別、ステータスコード、送信元 IP、アクセス身份（Identity）などを指定して、生ログを自由に検索できます。RequestId、CostTime、DeltaDataSize などの詳細フィールドも確認可能で、リクエストレベルでの完全な追跡が実現します。
• カスタム統計分析: 時間、操作種別、ステータスコード、アクセス元 IP、Bucket、ストレージタイプなど、任意の軸でデータを切り分けることで、操作の分布状況や特定の IP アドレスからのアクセス集中（ホットスポット）などのインサイトを導き出せます。

Agent へのワンクリック接続で、インテリジェントな診断分析を

ログ分析機能を有効化すると、TLS CLI（https://docs.volcengine.com/docs/6470/2559490?lang=zh）を通じて Agent が TLS 内の TOS API リクエストログにアクセスできるようになります。これにより、アクセス記録に対するインテリジェントな診断と分析が即座に実行可能です。

TLS CLI のワンクリックインストール手順については、以下のドキュメントをご参照ください：TLS CLI 安装与使用说明（https://docs.volcengine.com/docs/6470/2559491?lang=zh）

AI Agent 版：

npm install -g @volcengine-tls/volclog@latest --registry https://registry.npmjs.org/

分析例：1 日間のストレージ容量の変化をクエリする

volclog --profile default tool exec log.search \

--input '{

"TopicId": "a0319c42-cdce-4a0a-87de-aa9a23388c91",

"Query": "Bucket: archive-sy-shipper AND NOT Operation: \"BatchDeleteDetails\" | SELECT SUM(DeltaDataSize) / 1024.0/1024/1024 AS 总存储量变化 (GB)",

"StartTime": 1786846906294,

"EndTime": 1786933306295,

"Limit": 20

}'

実行結果：総ストレージ容量の変化（GB）は 395.2 であることが確認できます。

{

"action": "tool.log.search",

"artifacts": [],

"contract_digest": {

"policy": "soft",

"value": "bda1a39bd021e0a22a52ff73d1c621a450665372d4ebb2b7c2e5f74973e91c83"

},

"data": {

"Analysis": true,

"AnalysisResult": {

"Data": [

{

"总存储量变化 (GB)": "395.2"

}

],

"Schema": [

"总存储量变化 (GB)"

],

"Type": {

"总存储量变化 (GB)": "double"

}

},

"Context": "",

"Count": 1,

"ElapsedMillisecond": 42,

"HitCount": 1,

"Limit": 100,

"ListOver": true,

"Logs": [],

"ResultStatus": "complete"

},

"error": null,

"requestId": "9261c8d379514054b1912e67f51b124b-ac13786f",

"status": "success",

"summary": {

"deliveryMode": "stdout",

"dryRun": false,

"itemCount": 0,

"outputMode": "stdout",

"totalBytes": 751

}

}

データピボット：データはどこにあり、資産はどのように分布しているか？

データピボット機能では、TOS アセットを日次で集計できます。リージョン、ストレージタイプ、バケット、プレフィックスなどの観点から、総ストレージ容量、オブジェクト数、現在のバージョン数、履歴バージョン数、未結合のスプリットファイルの数を分析可能です。この機能は個々のリクエストの詳細を追うものではなく、チームがキャパシティ構造や成長トレンド、そしてガバナンスの優先順位を把握するための支援ツールです。 （原文の技術表記: 总存储量变化(GB)）

全体資産の水位把握：概観ページでは、オブジェクト数、総ストレージ量、平均オブジェクトサイズ、バケット数を統合表示し、現在の資産規模を把握できます。

地域ごとの容量集中状況の確認：異なるリージョン間の傾向と分布を比較することで、クロスリージョンでの容量計画やガバナンスの優先順位付けに役立ちます。

ストレージ階層化の妥当性検証：標準、インテリジェントアクセス、アーカイブ、コールドアーカイブ各層を比較し、コストのかかる高階層に残すべきではないデータを特定します。

ガバナンスの着手点：バケットとプレフィックスの TopN を活用して、容量増加の原因となる具体的なストレージバケットやビジネスディレクトリを特定できます。

コスト分布の可視化：履歴バージョンや未結合のスレッドアップロードが占める領域を定量化し、ライフサイクル管理やデータ整理戦略の根拠とします。

概観：規模・傾向・ホットスポットを掌握

指標詳細：総ストレージ量、総オブジェクト数、現在のバージョン/履歴バージョン、未結合のスレッドアップロード対象数およびバイト数を集中的に表示します。

トレンド分布：直近の変化を確認し、リージョンやストレージタイプ別に資産構造を分解して分析します。

ホットスポット特定：プレフィックス TopN と増加分ランキングにより、最も容量を占有している、あるいは成長速度が最も速いディレクトリを特定します。

地域視点：容量集中と地域差の特定

トレンド比較：各リージョンの指標変化傾向と当日の分布状況を確認します。

多指標分析：バブルチャートを用いて、容量やオブジェクト数など複数の指標を同時に比較します。

計画への活用：容量集中度や地域差を把握し、クロスリージョンでの容量計画を支援します。要約指標、コスト最適化指標、データ保護指標の各観点から多角的に分析可能です。

ストレージタイプ視点：階層化戦略の妥当性検証

トレンド分布：各ストレージタイプの容量傾向、当日の分布状況、およびオブジェクト数を比較します。

ポリシー検証：長期間アクセスされていないデータが標準ストレージ層に残っていないか確認します。

リスク特定：誤ってアーカイブされたホットデータや、ライフサイクルポリシーが有効に機能していない問題を発見します。

バケット視点：優先的にガバナンスすべきバケットの特定

ランキング傾向：バケット TopN と容量分布を通じて、重点的な管理対象となるバケットを特定します。

多指標比較：バブルチャートを用いて、容量、オブジェクト数、コスト最適化指標などを同時に確認します。

管理判断基準

「大容量かつオブジェクト数が少ない」ストレージと、「容量はさほど大きくないが、オブジェクト数が極めて多い」ストレージなど、異なる形態を明確に区別して管理します。

接頭辞（プレフィックス）視点での分析

容量の増加を、具体的なディレクトリ単位で特定できます。

高機能モードを有効にすると、接頭辞ごとに指標を集計・表示できるようになります。

接頭辞ページでは、時系列トレンドや分布状況、バブルチャート、そして上位 10（TopN）の詳細データを確認可能です。これにより、「ある Bucket が全体的に増えている」という漠然とした認識から、「どの業務ディレクトリが増加しているのか」を特定できます。これは、複数のテナントや異なる事業部門が同じ Bucket を共有して利用している環境において特に有効な機能です。

典型的なユースケース：異常検知から管理アクションへ

アクセスログ分析

#### おすすめの活用シーン

日常の運用と障害対応では、トラフィックやリクエスト、ステータスコードの異常がいつ発生し、どのバケットに該当するかを素早く特定します。

ホットスポットの検出とアクセス最適化では、クライアント IP、Referer、人気のあるオブジェクト、ダウンロード流量を分析し、アクセス経路とキャッシュ戦略を見直します。

エラーの根本原因特定では、ErrorCode、HTTPStatus、Operation、RequestId を基に原始ログを掘り下げて調査します。

セキュリティ監査では、削除、上書き書き込み、分片アップロードといった高リスク操作の実行者やその出所を追跡します。

直近のリアルタイムな容量変化分析では、DeltaDataSize と HistoricalVersionDeltaSize を用いて、リクエストによる容量の変動を計算・把握します。

具体例：QPS の急増を引き起こしたリクエストを検出する

Bucket: * | SELECT

"Operation" AS Action,

COUNT(*) AS 请求次数,

HTTPStatus AS 响应码,

COUNT(*) * 100.0 / NULLIF(SUM(COUNT(*)) OVER (), 0) AS 请求占比(%)

WHERE "Operation" IS NOT NULL AND "Operation" <> '-'

GROUP BY "Action", 响应码

ORDER BY 请求次数 DESC

LIMIT 50

予想される出力：この期間で最も多いリクエストは HeadObject であることが確認できます。

また、SQL を用いて QPS（1 秒間のクエリ数）が最も高いリクエストや、その発生時刻を特定することも可能です。

Bucket: *

SELECT

Action,

ROUND(minute_request_count / 60.0, 4) AS 请求峰值 QPS,

time_minute AS 峰值出现时间

FROM (

SELECT

Action,

time_minute,

minute_request_count,

ROW_NUMBER() OVER (

PARTITION BY Action

ORDER BY minute_request_count DESC, time_minute DESC

) AS rn

FROM (

SELECT

"Operation" AS Action,

DATE_TRUNC('minute', __time__) AS time_minute,

COUNT(*) AS minute_request_count

WHERE "Operation" IS NOT NULL

AND "Operation" <> '-'

GROUP BY "Operation", DATE_TRUNC('minute', __time__)

) minute_metrics

) ranked

WHERE rn = 1

ORDER BY 请求峰值 QPS DESC

LIMIT 50 （原文の技術表記: 请求峰值QPS、请求峰值QPS）

アクセス数の上位 100 オブジェクトをクエリする

バケット: *AND (Operation: "GetObject" OR Operation: "HeadObject") | SELECT

Object AS ファイル名,

Bucket AS ストレージバケット,

COUNT(*) AS PV

GROUP BY Object, Bucket

ORDER BY PV DESC

LIMIT 100

想定される出力： （原文の技術表記: 文件名、存储桶）

クライアントアクセス上位 100 のクエリ

Bucket: *|SELECT

RemoteIp AS クライアント IP,

Bucket AS ストレージバケット,

COUNT(*) AS PV

GROUP BY RemoteIp, Bucket

ORDER BY PV DESC

LIMIT 100

予想される出力:

エラー発生リクエストの API 分布クエリ （原文の技術表記: 客户端IP、存储桶）

Bucket: * and HTTPStatus: >400 | SELECT

Operation AS 操作,

Bucket AS 存储桶,

COUNT(*) AS 出现次数

GROUP BY Operation, Bucket

ORDER BY 出现次数 DESC

期待される出力：

データ分析の視点

推奨ユースケース

容量計画：ストレージ使用量とオブジェクト数の長期的な成長傾向を把握し、キャパシティが業務の予測に合致しているか判断します。

コスト最適化：ストレージ量が最も多いバケットやプレフィックスを特定し、主要なコスト源から優先的にガバナンスを行います。

ストレージ階層化：各ストレージタイプの容量分布を分析し、標準、低頻度アクセス、アーカイブデータに対する階層化戦略を評価します。

履歴バージョンのガバナンス：履歴バージョンのバイト数が大きいバケットを特定し、ライフサイクルポリシーによる削除やコールドストレージへの移行を設定します。

未結合スニペット（分片）のガバナンス：長期間完了していないスニペットアップロードを検出し、無効なストレージコストを削減します。

複数業務共用バケットのガバナンス：プレフィックスを集約することで、各業務ディレクトリの容量とオブジェクト数の増減状況を把握します。

具体例

バケット内で最大のプレフィックスディレクトリを見つける

「総ストレージ量」を選択し、デフォルトで上位 4 つを表示すると、「parquet-tls-sy-shipper」というバケットの最大プレフィックスが 300 の shard を持つ大規模書き込みであることが確認できます。

容量最大のバケットを確認する

「概要」→「スナップショット Top N」→「ストレージバケット」を選択し、指標を「総保存量」に設定すると、最も容量の大きいバケットが確認できます。今回の例では、parquet-tls-sy-shipper が最大となっています。

履歴バージョンの数を減らす

バケットでバージョン管理が有効になっている場合、データの削除や上書き時に TOS が自動的に履歴バージョンを保存します。これにより履歴バージョンが大量に蓄積し、ストレージコストが増加する恐れがあります。

データビュー看板を活用して、履歴バージョンのバイト数が特に多いバケットを特定し、対象となるバケットに対して集中的な整理作業を行うことをお勧めします。

ワンクリックで接続：ログ分析とデータビューを一元管理

CloudLens for TOS は現在、2 つの接続入口を提供しています。TOS コンソールからでも TLS コンソールからでも接続可能です。一度接続設定を行えば、必要に応じてそれぞれ「ログ分析」と「データビュー」のタスクを個別に有効化できます。

TOS コンソールでの開通手順

TOS コンソールにログインし、「データインサイト」を選択して「開通および権限付与」をクリックします。権限付与の手順を完了すると、すぐにサービスを開通させることができます。

開通後、ログ分析とデータビューの機能が利用可能になります。

TLS コンソールでの有効化

TLS コンソールにログインし、「ログアプリケーション → アプリケーションマーケット」を選択して「TOS」と検索します。表示された「CloudLens for TOS」をクリックし、「アプリを接続」ボタンを押して、指示に従って権限付与を完了させれば、すぐに利用開始できます。

有効化が完了すると、ログ分析とデータピボット機能が利用可能になります。

ログ分析の接続方法

「ログ分析 → ダッシュボード設定」画面では、ストレージバケットごとに地域と接続状態を確認できます。スイッチをオンにすることでログ分析を有効化し、オフにすると無効化でき、それぞれの分析ページへ直接移動することも可能です。

バケット単位で有効にするには、ダッシュボード設定内で「対象ストレージバケット」を検索し、ログ分析のスイッチをオンにします。有効化すると、システムが自動的に TOS のアクセスログを格納するためのログプロジェクト、トピック、およびインデックスを作成します。

分析画面へ移動するには、「分析へ進む」ボタンをクリックすれば、リソース使用量、アクセス分析、セキュリティ分析、検索分析の各ダッシュボードを利用できます。

データピボットの接続方法

データピボットはタスク形式で接続します。タスクを作成する際は、タスク名、ストレージ地域、指標収集方法を一度に設定し、統計対象とする地域とバケットを選択する必要があります。

基本設定では、タスク名を入力し、対象リージョンを選択します。一度タスクが作成されると、名称とリージョンは変更できません。そのため、長期的に識別可能な命名規則を事前に用意しておく必要があります。ここで指定する「リージョン」とは、データピボットの結果が蓄積される領域のことです。異なるリージョンにある Bucket のデータはすべて、この指定されたリージョンに集約されます。

収集方法の選択では、「通常モード」を選択すると基本指標のみを取得できます。「高级模式」を選べば、基本指標に加え、アクティブな指標やプレフィックス分析機能も利用可能になります。これにより、特定のプレフィックスを指定したり、プレフィックスの閾値や深さを設定したりすることが可能です。

対象範囲の設定では、「含む」または「除外」のいずれかの方式で、リージョンと Bucket を選択できます。「すべて」を選択した場合、後から追加された Bucket も自動的に反映され、動的に適用されます。

指標のエクスポート機能では、TOS の読み書き権限や KMS へのアクセス許可状態を確認できます。また、自社の分析ツールで引き続きデータを解析したい場合は、エクスポート機能を有効化できます。システムは毎日、指定された Bucket にデータファイルを出力します。

タスク作成後、統計データの結果が表示されるのは通常翌日以降となります。集計単位は日次です。

CloudLens for TOS を初めて利用すると、システムが自動的に「default-account-dashboard」という名前のダッシュボードを作成します。このダッシュボードは設定不要で完全無料であり、すべてのバケットを対象とした基本指標機能を提供します。

高度な機能であるプレフィックス分析を利用する場合は、バケット内のオブジェクトメタデータを保存するために Table Topic が導入されます。現在、この機能は期間限定で無料で利用可能です。

結びに

TOS の規模が大きくなるほど、単なる容量推移グラフへの依存だけでは不十分です。CloudLens for TOS は、ログ分析を通じてすべてのリクエストを再現し、データピボットにより長期的な資産の分布を可視化します。これにより、チームは異常の検知からリクエストの特定へ、容量統計からディレクトリレベルのガバナンスへと進化できます。最終的には、観測可能なデータを「安定性」「セキュリティ」「コスト最適化」のための具体的なアクションに変換することが可能になります。

アクセスを可視化し、データを理解し、継続的なガバナンスを実現する。これが CloudLens for TOS がオブジェクトストレージにもたらす変革です。

原文を読む

WeChat で開くにはこちら