AI Gateway でリアルタイム音声・通話・文字起こしがサポートされるように

AI Gateway は現在、音声およびオーディオモデルをサポートしています。リアルタイム音声エージェントの構築、テキストからの音声生成、オーディオからテキストへの書き起こしが可能になりました。これにより、AI Gateway 内のテキスト、画像、ビデオモデルと同様の可観測性、支出管理、BYOK（Bring Your Own Key）サポートが提供され、追加料金やプラットフォーム手数料は発生しません。これらの機能はベータ版であり、AI SDK 7 を経由して利用可能です。 リアルタイムサポートにより、単一のモデルが入力と出力の両方でオーディオを処理するため、ユーザーは別々のモデルの連鎖を待たずに、ほぼリアルタイムで対話を行い、応答を聞くことができます。 機能 その役割 リアルタイム音声エージェント モデルがユーザーの発言を聞き取り、応答を算出して、ライブかつ低遅延の会話として発話します。会話中にツールを呼び出して情報を検索したり、アクションを実行したりすることも可能です。useRealtime フックはマイクからのキャプチャと再生を処理します。 テキストから音声へ 選択可能な音声と MP3 などの出力形式を選択して、テキストから音声オーディオを生成します。ナレーション、文章コンテンツの音声版、音声応答などに使用できます。 音声からテキストへ ファイルバッファ、Base64 文字列、または URL から録音内容をテキストに書き起こします。ボイスメモやその他の書き起こし用途に使用できます。 開始方法はいくつかあります: 以下のリアルタイム例またはリアルタイムクイックスタートに従って、アプリに音声エージェントを追加してください。 プレイグラウンドを使用してください。AI Gateway Playground でブラウザ上でコード不要でリアルタイムモデルと対話できます。 リアルタイム例 音声エージェントには2つの構成要素があります。1つは、API キーがクライアントに到達しないように短期有効なトークンを発行するサーバールートであり、もう1つはそれと接続するブラウザコンポーネントです。 トークンルートを追加します: 次に、ブラウザから接続します。useRealtimeフックはこのルートをフェッチし、WebSocket 接続（WebSocket connection）、マイクキャプチャ、オーディオ再生を管理します: プレイグラウンド コードを書かずに音声モデルを試すこともできます。モデルページを開き、特定のモデルをクリックして、ブラウザ内で直接対話してください: リアルタイムモデルに話しかけて音声会話を行う テキストを送信し、トランスクリプションモデル（transcription model）がそれを読み上げる オーディオモデルに話しかけ、その言葉の文字起こしを行わせる AI Gateway 上のリアルタイム音声、音声認識、および文字起こしモデルに関する詳細については、ドキュメントをご覧ください。AI Gateway でサポートされているすべてのリアルタイム音声、音声認識、および文字起こしモデルの一覧を表示するには、こちらで完全リストを確認してください。 さらに読む

AI Gateway でリアルタイム音声・通話・文字起こしがサポートされるように

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト