Deepgram、Amazon SageMaker AI の観測性を強化し詳細メトリクスを提供

オンプレミス型の音声 AI は、従来「観測可能性」と「コスト」のトレードオフに悩まされてきました。サービス側からはエンドポイントが稼働しているか、どれだけのリクエストを処理したかはわかりますが、キャパシティプランニングやコスト管理に直結する本質的な問いはベンダーのコンテナ内に閉じ込められたままです。「請求対象となるのは何か」「トラフィックでどの機能が使われているか」「各 GPU で推論エンジンが何をしているのか」といった情報は、外部から直接確認できません。

Deepgram の音声認識 (STT) やテキスト読み上げ (TTS) モデルを SageMaker AI 上で実行すれば、音声データや書き起こしテキストはすべてお客様の AWS アカウント内に留まります。これにより、管理コンソールによるデプロイ、スケーリング、監視の利便性を損なうことなく、データの所在地要件やコンプライアンス対応を強化できます。ただし、具体的な責任範囲は各社の制御体制と評価結果に依存するため、必ずコンプライアンスチームに相談し、AWS の共有責任モデルを確認してください。

Deepgram は現在、Deepgram SageMaker AI 展開で利用可能な 2 つの革新機能によって、請求・機能使用状況・エンジン動作に関する情報のギャップを埋めています。

• Deepgram Enhanced Metrics: Deepgram コンテナがエージェントやサイドカー、追加の IAM 権限なしに、直接使用量と請求メトリクスをお客様の Amazon CloudWatch アカウントへ直接公開します。これは AWS マーケットプレイスの従量課金で採用されている「消費単位数」と同じ値であり、モデル単位、転送方式単位まで細かく分解して、実際のトラフィックと AWS 請求書の照合が可能になります。

Prometheus と OpenTelemetry のサポート：Deepgram コンテナから直接収集されるエンジンレベルの Prometheus メトリクスに加え、GPU アクセラレータ単位およびホスト単位のメトリクスも提供されます。これらはすべて SageMaker AI の詳細な観測機能を通じて収集され、CloudWatch や Grafana、あるいは Prometheus 互換ツールからの PromQL クエリで照会可能です。

本稿では、これらの機能をどのように活用するか、従来は見えなかった何が可視化されるのか、そして Deepgram の SageMaker AI エンドポイントでの利用開始方法について解説します。

Amazon SageMaker AI 上の Deepgram

Deepgram の音声モデルは AWS Marketplace でモデルパッケージとして提供されており、アカウント内で SageMaker AI リアルタイムエンドポイントとしてデプロイできます。SageMaker AI を利用すれば、エンドポイントの基本的な観測機能も自動的に利用可能です。具体的には、CloudWatch における ConcurrentRequestsPerModel や FirstChunkLatency といった呼び出しメトリクス、Amazon CloudWatch Logs 上のコンテナログ、アラートに基づく自動スケーリングなどが含まれます。

AWS Marketplace のモデルパッケージはネットワーク分離状態で実行されます。このため、コンテナから外部への接続が不可能であり、セキュリティを重視する顧客がこのデプロイモデルを選択しています。しかし、この同じ分離構造が、ベンダーレベルのテレメトリ取得を困難にしている要因でもあります。コンテナは外部コレクタへメトリクスを送信できず、コンテナ内部を直接確認することもできません。本稿で取り上げる両方の機能は、こうした制約の中で動作します。いずれもコンテナ側でネットワーク経路を開く必要はなく、収集されたデータはすべてお客様の CloudWatch アカウント内に格納されます。

用語に関する注記: SageMaker AI には、標準的なエンドポイントメトリクスにインスタンスごとの利用状況や GPU ごとの利用状況を追加する独自の機能として「Enhanced Metrics」(MetricsConfig の EnableEnhancedMetrics) が用意されています。この SageMaker AI の機能は、後述する Deepgram が公開する課金・使用量を示す Deepgram Enhanced Metrics とは別物であり、相互に補完し合う関係にあります。本記事で取り上げるのは Deepgram の機能についてです。SageMaker AI 側の機能については、Deepgram の SageMaker オブザーバビリティガイド をご覧ください。

イノベーション 1: Deepgram Enhanced Metrics で実現する課金と利用の透明性

Deepgram Enhanced Metrics は、標準的なエンドポイントメトリクスでは回答できない 2 つの疑問に答えることができます。「実際に何に対して請求されているのか」と「トラフィックが Deepgram の機能をどのように使用しているのか」です。

仕組み：ログ経路を流れるメトリクス

Deepgram コンテナは、CloudWatch Embedded Metric Format (EMF) レコードをコンテナの標準出力に書き出します。SageMaker AI はすでにコンテナの出力をエンドポイントの CloudWatch ロググループへ転送しており、CloudWatch Logs が EMF レコードを自動的にメトリクスとして抽出します。この EMF を経由するアプローチには、以下のメリットがあります。

• エージェント、サイドカー、またはコレクターを導入する必要がありません。
• ログ用の権限以外に、追加の IAM 権限は不要です。

AWS マーケットプレイスのネットワーク分離環境でも動作します。これは、メトリクスが外部へのネットワーク接続ではなく、既存の SageMaker から CloudWatch へのログ転送経路を通じて伝達されるためです。

従来の CloudWatch メトリクスとして機能し、aws cloudwatch list-metrics コマンドで表示でき、get-metric-statistics やダッシュボード、アラーム、メトリクスの計算とも連携します。エンドポイント設定に追加の有効化は不要です。

すべての次元（ディメンション）は低カルディナリティであり、個人を特定できる情報（PII）を含みません。通話内容の文字起こし（トランスクリプト）、TTS 入力データ、個別のリクエスト識別子などは含まれません。

Deepgram の拡張メトリクスは、AWS アカウントおよびリージョン内の Deepgram エンドポイント全体を集計したものです。次元にはカテゴリ、モデル、転送方式が含まれますが、エンドポイント名やインスタンス ID は含まれないため、このストリームを特定の 1 つのエンドポイントやインスタンスに絞り込むことはできません。エンドポイント別、インスタンス別、GPU 別の詳細な内訳が必要な場合は、次節で説明する Prometheus および OpenTelemetry のメトリクスをご利用ください。

AWS マーケットプレイスの請求書照合：Deepgram/SageMakerInference ネームスペース

この請求用ネームスペースは、完了したリクエストごとに 1 レコードを出力します。ストリーミングセッション、事前録音されたリクエスト、TTS リクエストのすべてが対象となります。ConsumedUnits メトリクスには、AWS マーケットプレイスの従量課金（メータード・ビリング）に使用される請求単位値と同じデータが含まれています。以下の表は、このネームスペースで公開されているメトリクスの一覧です。

• Metric Name：Description
• ConsumedUnits：請求対象となるユニット数（ストリーミング、事前録音、TTS の各リクエスト単位）

aws cloudwatch get-metric-statistics \
--namespace Deepgram/SageMakerInference \
--metric-name ConsumedUnits \
--dimensions Name=Category,Value=stt_streaming \
--start-time $(date -u -d '24 hours ago' +%Y-%m-%dT%H:%M:%S) \
--end-time $(date -u +%Y-%m-%dT%H:%M:%S) \
--period 3600 \
--statistics Sum SampleCount \
--region YOUR_AWS_REGION

メトリクスは [Category]、[Category, Model]、[Category, Model, Transport] の 3 つの粒度で公開されているため、同じ名前空間で「今月のストリーミング音声認識（STT）のコストはいくらか」「そのうち nova-3 が占める割合はどれくらいか」といった問いに即座に答えられます。例えば、ストリーミング音声認識における時間あたりの総消費ユニット数は以下の通りです。

aws cloudwatch get-metric-statistics \
--namespace Deepgram/SageMakerInference \
--metric-name ConsumedUnits \
--dimensions Name=Category,Value=stt_streaming \
--start-time $(date -u -d '24 hours ago' +%Y-%m-%dT%H:%M:%S) \
--end-time $(date -u +%Y-%m-%dT%H:%M:%S) \
--period 3600 \
--statistics Sum SampleCount \
--region YOUR_AWS_REGION

SampleCount は課金対象となるリクエスト数を示します。これは通常の CloudWatch メトリクスであるため、財務部門向けの請求ダッシュボードを構築したり、消費単位に対して予算アラートを設定したりすることが可能です。

エンドポイントの使用方法を理解する：Deepgram/SelfHosted ネームスペース

Deepgram API サーバー自体が出力する第 2 のストリームでは、課金情報とは独立して、メソッド、モデルティア、有効化された機能ごとに使用状況を詳細に分解します。これにより、製品レベルの疑問に答えることが可能になります。具体的には、ストリーミング処理と録音済み音声のどちらがトラフィックを占めているのか、どのモデルティアが最も多くのオーディオデータを処理しているのか、そしてダイアライゼーション（話者分離）、スマートフォーマット、赤塗り消し、キーワードプロンプトといった機能のうち、実際のアプリケーションでどれが有効化されているのかなどです。以下の表では、この名前空間に含まれるメトリクスと、各メトリクスが持つ次元の一覧を示します。

例えば、過去 24 時間にダイアリゼーション（話者分離）機能を有効にして処理された音声の量は以下の通りです。

aws cloudwatch get-metric-statistics \
--namespace Deepgram/SelfHosted \
--metric-name FeatureAudioMs \
--dimensions Name=Deployment,Value=sagemaker Name=Feature,Value=diarize \
--start-time $(date -u -d '24 hours ago' +%Y-%m-%dT%H:%M:%S) \
--end-time $(date -u +%Y-%m-%dT%H:%M:%S) \
--period 3600 \
--statistics Sum \
--region YOUR_AWS_REGION

利用状況ストリームはデフォルトで有効になっており、エンドポイント設定内の環境変数 DEEPGRAM_API_01: emf.enabled=false を 1 つだけオーバーライドすることで無効化できます。ただし、請求用ストリームは無効にできません。これは計測パイプラインの一部として組み込まれているためです。

イノベーション 2：Prometheus と OpenTelemetry を活用したエンジンレベルおよび GPU ごとの可視性

Deepgram のコンテナは Prometheus メトリクスエンドポイントを提供しており、SageMaker AI の詳細な観測機能では、各インスタンス上で AWS が管理する OpenTelemetry Collector を実行しています。このコレクターはコンテナからメトリクスを収集し、CloudWatch へエクスポートします。これにより、GPU ごとの詳細なメトリクスやホストレベルのメトリクスも取得可能です。

詳細な観測機能を有効にすると、3 つのメトリクスソースが CloudWatch の OpenTelemetry 互換メトリクスストアへデータを公開します。以下の表では、各ソースの内容とその重要性について説明しています。

engine_estimated_stream_capacity は、Deepgram エンジンが自らのインスタンスで同時に処理可能なストリームの最大数を推定した値です。この値を engine_active_requests と比較することで、スケーリング判断のためのエンジン側からの余裕度（ヘッドルーム）シグナルを得ることができます。

各時系列データには、SageMaker のリソースラベルが付与されています。具体的には aws.sagemaker.endpoint.name（エンドポイント名）、バリアント名、インスタンス ID などです。これらを用いて、単一エンドポイントへのフィルタリングや、スケールアウトされたファーム内の特定インスタンスの切り出し、あるいは同一インスタンス内での GPU 間の比較が可能になります。コレクターはモデルコンテナの外側であるホスト上で動作するため、AWS Marketplace のネットワーク分離環境下でもこの仕組みは機能します。

Enabling it

新たに作成されたエンドポイントでは、詳細な観測機能（observability）がデフォルトで有効化され、60 秒ごとにメトリクスが公開されます。この機能を明示的に設定したい場合、例えば機能リリース前に作成されたエンドポイントに対して適用したり、公開頻度を変更したい場合は、エンドポイント設定で MetricsConfig を使用してください。

aws sagemaker create-endpoint-config \
--endpoint-config-name YOUR_CONFIG_NAME \
--production-variants file://production-variants.json \
--metrics-config '{"EnableDetailedObservability": true, "MetricPublishFrequencyInSeconds": 60}' \
--region YOUR_AWS_REGION

すでにトラフィックを処理している既存のエンドポイントがある場合、新しいエンドポイント設定を作成し、update-endpoint コマンドを実行します。この更新はブルー/グリーンデプロイメントとして実行されるため、サービスは停止することなく継続されます。

CloudWatch、Grafana、または Prometheus 互換のツールから PromQL でクエリ

メトリクスは CloudWatch OTel メトリクスストアに格納され、PromQL を使用して照会できます。CloudWatch コンソールの PromQL エディターでは、1 つのエンドポイントごとの GPU 利用率を以下のようにフィルタリングできます。

DCGM_FI_DEV_GPU_UTIL{"aws.sagemaker.endpoint.name"="YOUR_ENDPOINT_NAME"}

これらのメトリクスについては、CloudWatch が SigV4 による認証を前提とした標準的な Prometheus 互換の HTTP API も公開しています。

awscurl --service monitoring --region YOUR_AWS_REGION \
"https://monitoring.YOUR_AWS_REGION.amazonaws.com/api/v1/query?query=engine_active_requests"

Grafana や Prometheus ネイティブの観測スタックを標準化している場合、既存のツールチェーンを SageMaker AI のフリートに直接指向させるだけで済みます。並列の監視スタックも、エクスポートパイプラインも不要です。

適切なメトリックストリームの選択

2 つの革新は、SageMaker AI に組み込まれたメトリクスを置き換えるものではなく、補完するものです。以下の表では、一般的な質問とそれに対応するメトリックストリームを対応付けています。

始め方

Deepgram の拡張メトリクスには特別な設定は不要です。Deepgram が Amazon SageMaker AI エンドポイントでトラフィックを処理し始めた瞬間から、自動的に CloudWatch アカウントへデータが流れます。新しいエンドポイントでは詳細な観測機能がデフォルトで有効になっており、既存のエンドポイントでも設定変更 1 つで追加可能です。

始め方については、以下のリソースをご参照ください。

• AWS Marketplace から Deepgram をデプロイし、Amazon SageMaker 上での Deepgram デプロイ の手順に従ってください。

• リファレンス：Deepgram 拡張メトリクス、Prometheus & OpenTelemetry メトリクス、および Deepgram API およびエンジンメトリクスの完全リストを掲載した メトリクスガイド。

• AWS ドキュメント：SageMaker AI エンドポイントの詳細な観測機能。

音声 AI のセルフホスティングにより、サービスのリクエスト数とベンダーからの請求額との間に生じていたギャップが解消されました。Deepgram の「Enhanced Metrics（拡張メトリクス）」機能は、AWS Marketplace での課金基準となる正確な単位を、インフラを追加することなく自社の CloudWatch アカウントに直接反映します。これらの単位の背後にある機能レベルごとの利用状況も同様に管理可能です。

SageMaker AI の詳細な観測可能性を通じて Prometheus や OpenTelemetry をサポートしているため、Deepgram エンジンのキャパシティや負荷メトリクス、GPU ごとの利用率といった情報は、チームがすでに使用しているツール上で PromQL クエリを1 つ実行するだけで取得できます。

これらの機能は、自己ホスト型の音声 AI における SageMaker AI を優先的なデプロイオプションとして位置づける Deepgram の最新の取り組みの一環です。これは、サポートアクセスのための IAM Temporary Delegation に続くものです。Deepgram は、Day 2（運用開始後）の体験を Day 1（導入時）の体験と同等にするというコミットメントを引き続き守っています。

現在 SageMaker AI で利用可能な Deepgram モデルには Nova、Flux、Aura-2 などがあり、追加費用なしで 14 日間のトライアルが提供されています。本番環境への移行前に、ご自身の AWS アカウント内で実際のデプロイを試すことができます。SageMaker AI 上で Deepgram モデルを実行すると、GPU インスタンスを含むエンドポイントのホスティングに対して課金が発生します。また、Amazon CloudWatch のログとメトリクス、および関連するネットワークリソースについても課金されます。

Deepgram のトライアル自体は無料ですが、AWS のインフラコストはデプロイ開始直後から適用されます。SageMaker AI の料金 をご確認いただき、AWS Cost Explorer を活用して支出を監視してください。

執筆者について