OpenAI、低遅延音声エージェント向けAPIに「GPT-Realtime-2.1」と「GPT-Realtime-2.1-mini」をリリース
OpenAI は低遅延音声エージェント向けに推論機能を強化した「GPT-Realtime-2.1」およびコスト効率に優れた「mini」モデルをリリースし、キャッシュ技術の向上により p95 レイテンシを最大 25% 削減しました。
キーポイント
新モデルの発表と特徴
推論機能を内蔵した「GPT-Realtime-2.1-mini」と、より高度な認識能力を持つ「GPT-Realtime-2.1」がリリースされ、後者は音声のノイズ処理や中断対応も改善されています。
推論とツール使用の統合
モデルが動作前に内部で思考（Reasoning）を行うことで、ツール呼び出し時の沈黙を解消し、ユーザーに「確認中」などのプレアムブルを発話して会話の一貫性を保ちます。
レイテンシとコストの大幅改善
キャッシュ技術の強化により p95 レイテンシが 25% 削減され、特にミニモデルではキャッシュされた音声入力のコストが新規入力の約 30 分の 1（$0.30/1M トークン）まで低下しました。
柔軟な推論設定
開発者は最小から最高までの 5 レベルで推論努力度を設定でき、シンプルタスクでは低コスト・低遅延を優先し、複雑なタスクでは高品質な回答を得る調整が可能です。
キャッシュ機能によるコスト削減効果
入力トークンのキャッシュにより、特に長期間のセッションでコストが大幅に低下します。gpt-realtime-2.1-mini ではキャッシュされた音声入力が 100 万トークンあたり$0.30 と、新鮮な入力（$10.00）に比べて極めて安価です。
ミニモデルの価格と性能のバランス
gpt-realtime-2.1-mini は推論機能を維持しつつ、音声出力コストがフルバージョン（$64.00）の約 3 分の 1（$20.00）に抑えられています。これにより、大規模な利用でも低コストで機能性を確保できます。
具体的なユースケースと実装例
顧客サポートのトリアージ、予約調整、アプリ内アシスタント、現場データ収集など、推論やツール呼び出しを必要とする多様なシナリオでの利用が想定されています。
重要な引用
gpt-realtime-2.1-mini is a mini reasoning model for realtime voice interactions.
The model can say 'I'll check that order now' before acting.
p95 latency is the 95th-percentile response time... A cut of at least 25% on that tail helps live voice.
Cached input tokens are billed at a steep discount. For gpt-realtime-2.1-mini, cached audio input drops to $0.30 per 1M.
The mini audio output rate is $20.00 per 1M. The full gpt-realtime-2.1 charges $64.00 for the same. That is roughly a 3x gap on audio output.
Start reasoning effort at low, then raise it only for harder tasks.
影響分析・編集コメントを表示
影響分析
このリリースは、音声 AI アプリケーションにおける「遅延」と「コスト」の二大課題に対して、技術的な解決策（キャッシュ最適化）と機能面での革新（推論内蔵）を同時に提示した画期的な進展です。特にミニモデルのコスト削減効果は、長時間対話が必要なビジネス用途や大規模展開において、実用性を飛躍的に高める要因となるでしょう。
編集コメント
音声 AI の実用化において最大の障壁であった「遅延」と「コスト」を同時に解決する具体的な数値目標（25% 削減、30 分の 1 コスト）を示した点は非常に説得力があります。開発者は推論機能の調整により、より自然で信頼性の高い対話型エージェントを短期間で構築できるようになるでしょう。
OpenAI は API に 2 つの新しい Realtime モデルをリリースしました。それらは gpt-realtime-2.1 と gpt-realtime-2.1-mini と名付けられています。両方とも低遅延の音声およびマルチモーダル体験を対象としています。このリリースにおける注目点はミニモデルです。これはリアルタイム通話用のミニ推論モデルであり、以前の gpt-realtime-mini と同じコストで提供されます。また、OpenAI は Realtime 音声モデル全体で p95 レイテンシを少なくとも 25% 削減しました。この削減はキャッシュの改善によるものです。
GPT-Realtime-2.1-mini とは何か
gpt-realtime-2.1-mini は、リアルタイム通話インタラクション用のミニ推論モデルです。ライブ接続を通じて音声とテキストの入力に応答します。OpenAI はこれを、ラインナップ内でより高速でコスト効率に優れたオプションとして位置付けています。
Realtime API は、単一のモデルを介して音声を処理・生成します。これにより、個別の音声認識（Speech-to-Text）システムと音声合成（Text-to-Speech）システムをつなぎ合わせる必要がなくなります。この単一モデル設計はレイテンシを削減し、発話におけるニュアンスを保持します。
推論能力がここでは主要な機能です。これは、モデルが発話する前に内部で思考できることを意味します。ミニティアではまた、Realtime API を通じてツール使用（関数呼び出し）もサポートされています。これらを組み合わせることで、ミニモデルはステップの計画を立て、関数を呼び出し、その後回答するという一連の動作が可能になります。
より大規模な兄弟モデルは gpt-realtime-2.1 です。これは GPT-Realtime-2 を更新し、文字・数字認識能力を向上させました。また、沈黙とノイズへの対応、および割り込み挙動も改善されています。設定可能な推論努力度、指示の遵守、ツール使用をサポートした音声対音声（Speech-to-Speech）機能を提供します。
これらを選択するための簡単な方法：最も強力なリアルタイム推論、ツール使用、指示の遵守、および音声エージェントの動作を必要とする場合は gpt-realtime-2.1 を使用してください。より高速でコスト効率に優れたオプションを望む場合は gpt-realtime-2.1-mini を使用してください。
なぜここで推論とツール使用が重要なのか
音声エージェントは、ツール呼び出し中にしばしば停止します。モデルが関数呼び出しを実行した後、沈黙してしまいます。ユーザーはその呼び出しが切断されたと誤解し、割り込みを入れます。これにより不完全な結果や混乱した会話状態が生じます。
推論と発話による前置き（preamble）はこのパターンを解消します。モデルは行動する前に「今すぐその注文を確認します」と言うことができます。処理を行っている間も話し続けることで、多段階の音声タスクを一貫性のあるものとして維持できます。
推論の努力レベルは設定可能です。開発者は最小、低、中、高、超高（xhigh）から選択できます。デフォルトは「低」で、単純なターンでは遅延を抑えます。より高い努力レベルにすると、遅延と出力トークンの使用量が増加します。OpenAI は、ほとんどの本番環境向け音声エージェントではまず低設定から始めるよう推奨しています。
遅延とキャッシングの改善
p95 遅延（p95 latency）は、応答時間の第 95 パーセンタイル値です。これはユーザーが実際に体感する「遅い尾部」を捉えた指標です。この尾部を少なくとも 25% 削減することは、ライブ音声において大きな助けとなります。この削減を実現しているのが、リアルタイム音声モデル全体で改善されたキャッシング（caching）機能です。
キャッシュ機能は、レイテンシの低減だけでなくコスト削減にも寄与します。キャッシュされた入力トークンは大幅な割引料金で請求されます。gpt-realtime-2.1-mini においては、キャッシュされた音声入力の料金は 100 万トークンあたり 0.30 ドルに低下しますが、新規の音声入力では比較として 100 万トークンあたり 10.00 ドルとなります。システムプロンプトが最初のターン後にキャッシュされるため、長時間のセッションほど恩恵を最も受けます。
料金体系と比較
料金はテキスト、音声、画像ごとに 100 万トークン単位で算出されます。ミニ版は既存のミニ版料率を維持しつつ推論機能を追加しています。以下の表に公開された数値を記載します。
機能 / 価格（100 万トークンあたり）gpt-realtime-2.1 gpt-realtime-2.1-mini gpt-realtime-mini (前バージョン)
推論 Yes（設定可能な努力度）Yes（ミニ版推論モデル）No
ツール使用 / 関数呼び出し Yes Yes Yes
テキスト入力 $4.00 $0.60 $0.60
テキストキャッシュ入力 $0.40 $0.06 $0.06
テキスト出力 $24.00 $2.40 $2.40
音声入力 $32.00 $10.00 $10.00
音声キャッシュ入力 $0.40 $0.30 $0.30
音声出力 $64.00 $20.00 $20.00
画像入力 $5.00 $0.80 $0.80
画像キャッシュ入力 $0.50 $0.08 $0.08
ミニ版の音声出力料率は 100 万トークンあたり 20.00 ドルです。一方、完全版の gpt-realtime-2.1 は同じ項目で 64.00 ドルを請求します。これは音声出力において約 3 倍の差があります。チームは推論機能を維持しつつ、一部の機能と引き換えにより低いコストを実現できます。
使用例
カスタマーサポートのトリアージ：通話者が電話で請求エラーを報告します。ミニ版モデルが低努力度でその問題について推論を行います。その後、lookup_account ツールを呼び出し、続いて check_invoice ツールを実行します。各ステップをナレーションすることで、通話者は常に状況を把握できます。
予約調整：ユーザーが予約を来週の火曜日に移動したいと依頼します。モデルは正確な日付を文字ごとにキャプチャし、詳細を確認した上で再調整関数を呼び出します。確認済みの値により、推測された入力に対するツール呼び出しを防ぎます。
アプリ内音声アシスタント：モバイルアプリが WebRTC を経由してマイクからのオーディオをストリーミングします。ミニモデルは製品に関する質問に短い文 1〜2 文で回答します。低コストにより、この機能をより多くのユーザーで実行できます。
現場データ収集：技術者が部品番号の記録をエージェントに依頼します。改善された英数字認識により、「8-3-5-7-1」のようなコードを正確にキャプチャできます。モデルは行動する前に値を読み上げて確認を行います。
最小限の実装
ブラウザクライアントは WebRTC を経由して接続します。サーバーはまず短期有効なクライアントシークレットを発行します。その後、ブラウザが直接 Realtime API に接続します。サーバーのメディアパイプラインでは WebSocket を使用し、電話回線では SIP を利用します。
まず、サーバーで一時的なクライアントシークレットを作成します。標準的な API キーはサーバー上に保持してください。セッション設定ではモデル、低い推論負荷、および 1 つのツールを指定します。
Copy CodeCopiedUse a different Browser
// サーバー：短寿命のクライアントシークレット（API キーはサーバーサイドに保持）を生成する
const r = await fetch("https://api.openai.com/v1/realtime/client_secrets", {
method: "POST",
headers: {
Authorization: Bearer ${process.env.OPENAI_API_KEY},
"Content-Type": "application/json"
},
body: JSON.stringify({
session: {
type: "realtime",
model: "gpt-realtime-2.1-mini",
instructions: "あなたはサポートエージェントです。1〜2文の短い文章で返信してください。",
reasoning: { effort: "low" },
tools: [
{
type: "function",
name: "lookup_account",
description: "メールアドレスで顧客アカウントを検索します。",
parameters: {
type: "object",
properties: { email: { type: "string" } },
required: ["email"]
}
}
],
tool_choice: "auto"
}
})
});
const { value: EPHEMERAL_KEY } = await r.json(); // ブラウザにこの値を渡す
次に、ブラウザは WebRTC ピア接続を開きます。マイクトラックとイベント用のデータチャネルを追加し、その後 SDP オファー（Session Description Protocol Offer）を呼び出しエンドポイントにポストします。
コピー コード コピー済み 別のブラウザを使用
// ブラウザ：WebRTC を介してリアルタイム API に接続する
// EPHEMERAL_KEY は上記のサーバーエンドポイントから取得した値です。
const pc = new RTCPeerConnection();
const audioEl = document.createElement("audio");
audioEl.autoplay = true;
pc.ontrack = (e) => { audioEl.srcObject = e.streams[0]; };
const mic = await navigator.mediaDevices.getUserMedia({ audio: true });
pc.addTrack(mic.getTracks()[0]);
const events = pc.createDataChannel("oai-events");
events.addEventListener("message", (e) => console.log(JSON.parse(e.data)));
const offer = await pc.createOffer();
await pc.setLocalDescription(offer);
const sdp = await fetch("https://api.openai.com/v1/realtime/calls", {
method: "POST",
body: offer.sdp,
headers: {
Authorization: Bearer ${EPHEMERAL_KEY},
"Content-Type": "application/sdp"
}
});
await pc.setRemoteDescription({ type: "answer", sdp: await sdp.text() });
推論の努力は低く開始し、より難しいタスクの場合のみ引き上げる。重要なルールとデフォルトを区別する短い指示を追加する。モデル移行の前と後に評価（evals）を実行してください。
強みと弱み
強み:
- 推論機能が低コストのミニティアに到達しました。
- 価格設定は以前の gpt-realtime-mini のレートと一致しています。
- p95 レイテンシ（遅延時間：応答までの時間）が、リアルタイム音声モデル全体で少なくとも 25% 低下しました。
- タスクごとにレイテンシと深さをトレードオフする構成可能な推論努力機能。
- シングルモデルのオーディオパイプラインにより、会話が自然に保たれます。
弱み:
- オーディオトークンの価格設定を通話ごとのコストに変換するのは困難です。
- 高い推論努力は、レイテンシと出力トークンの両方を増加させます。
- 長時間のセッションではコンテキストが再送信され、剪定（不要な情報の削除）が行われないため入力コストが増大します。
ミニティアは、完全版である gpt-realtime-2.1 と比較して一部の機能を犠牲にしています。
インタラクティブ解説
(function(){
window.addEventListener("message", function(e){
if(e && e.data && e.data.type === "resize-rtx" && typeof e.data.height === "number"){
var f = document.getElementById("rtx-frame");
if(f){ f.style.height = e.data.height + "px"; }
}
});
})();
詳細な技術情報はこちらをご覧ください。また、Twitter でフォローしていただくこともお気軽にどうぞ。忘れずに、150,000 人以上の ML サブレッドに参加し、ニュースレターも購読してください。待ってください！Telegram をご利用ですか？今なら Telegram でも私たちに参加できます。
GitHub リポジトリや Hugging Face ページ、製品リリース、ウェビナーなどのプロモーションを当社と提携して行いたい場合は、こちらからご連絡ください。
本記事「OpenAI が低遅延音声エージェント向け API に GPT-Realtime-2.1 および GPT-Realtime-2.1-mini を公開」は、MarkTechPost で最初に掲載されました。
原文を表示
OpenAI has released two new Realtime models in its API. They are named gpt-realtime-2.1 and gpt-realtime-2.1-mini. Both target low-latency voice and multimodal experiences. The mini model is the notable part of this release. It is a mini reasoning model for realtime voice. It ships at the same cost as the earlier gpt-realtime-mini. OpenAI also reduced p95 latency by at least 25% across Realtime voice models. That reduction comes from improved caching.
What is GPT-Realtime-2.1-mini
gpt-realtime-2.1-mini is a mini reasoning model for realtime voice interactions. It responds to audio and text inputs over a live connection. OpenAI positions it as the faster, more cost-efficient option in the lineup.
The Realtime API processes and generates audio through a single model. This avoids chaining separate speech-to-text and text-to-speech systems. That single-model design reduces latency and preserves nuance in speech.
Reasoning is the main capability here. It means the model can think internally before it speaks. The mini tier also supports tool use, or function calling, through the Realtime API. Together these let the mini model plan a step, call your function, then answer.
The larger sibling is gpt-realtime-2.1. It updates GPT-Realtime-2 with improved alphanumeric recognition. It also improves silence and noise handling, and interruption behavior. It supports speech-to-speech with configurable reasoning effort, instruction following, and tool use.
A quick way to choose between them: use gpt-realtime-2.1 when you want the strongest realtime reasoning, tool use, instruction following, and voice-agent behavior. Use gpt-realtime-2.1-mini when you want a faster, more cost-efficient option.
Why Reasoning and Tool Use Matter here
Voice agents often stall during tool calls. The model fires a function call, then goes silent. Users assume the call dropped and interrupt. That creates partial results and confused conversation state.
Reasoning and a spoken preamble fixes this pattern. The model can say ‘I’ll check that order now’ before acting. It keeps talking while it works through a request. That behavior keeps multi-step voice tasks coherent.
Reasoning effort is configurable across levels. Developers can select minimal, low, medium, high, or xhigh. Low is the default and keeps latency down for simple turns. Higher effort increases latency and output token usage. OpenAI advises starting low for most production voice agents.
The Latency and Caching Improvement
p95 latency is the 95th-percentile response time. It captures the slow tail that users actually feel. A cut of at least 25% on that tail helps live voice. Improved caching drives this reduction across the Realtime voice models.
Caching also lowers cost, not just latency. Cached input tokens are billed at a steep discount. For gpt-realtime-2.1-mini, cached audio input drops to $0.30 per 1M. Fresh audio input costs $10.00 per 1M by comparison. Long sessions benefit most, because the system prompt caches after the first turn.
Pricing and Comparison
Pricing is per 1M tokens, split by text, audio, and image. The mini keeps the previous mini rate while adding reasoning. The table below lists the published figures.
Capability / Price (per 1M)gpt-realtime-2.1gpt-realtime-2.1-minigpt-realtime-mini (prior)
ReasoningYes (configurable effort)Yes (mini reasoning model)No
Tool use / function callingYesYesYes
Text input$4.00$0.60$0.60
Text cached input$0.40$0.06$0.06
Text output$24.00$2.40$2.40
Audio input$32.00$10.00$10.00
Audio cached input$0.40$0.30$0.30
Audio output$64.00$20.00$20.00
Image input$5.00$0.80$0.80
Image cached input$0.50$0.08$0.08
The mini audio output rate is $20.00 per 1M. The full gpt-realtime-2.1 charges $64.00 for the same. That is roughly a 3x gap on audio output. Teams can trade some capability for lower cost while keeping reasoning.
Use Cases with Examples
Customer support triage: A caller reports a billing error over the phone. The mini model reasons about the issue at low effort. It calls a lookup_account tool, then a check_invoice tool. It narrates each step so the caller stays informed.
Appointment scheduling: A user asks to move a booking to next Tuesday. The model captures the exact date character by character. It confirms details, then calls a reschedule function. Confirmed values prevent tool calls on guessed inputs.
In-app voice assistant: A mobile app streams microphone audio over WebRTC. The mini model answers product questions in one or two short sentences. Lower cost lets the feature run at higher volume.
Field data capture: A technician asks the agent to log a part number. Improved alphanumeric recognition helps capture codes like ‘8-3-5-7-1’. The model reads the value back for confirmation before acting.
Minimal Implementation
Browser clients connect over WebRTC. Your server mints a short-lived client secret first. The browser then connects directly to the Realtime API. Server media pipelines use WebSockets, and telephony uses SIP.
First, the server creates an ephemeral client secret. Keep your standard API key on the server. The session config sets the model, low reasoning effort, and one tool.
Copy CodeCopiedUse a different Browser
// Server: mint a short-lived client secret (API key stays server-side)
const r = await fetch("https://api.openai.com/v1/realtime/client_secrets", {
method: "POST",
headers: {
Authorization: Bearer ${process.env.OPENAI_API_KEY},
"Content-Type": "application/json"
},
body: JSON.stringify({
session: {
type: "realtime",
model: "gpt-realtime-2.1-mini",
instructions: "You are a support agent. Reply in one or two short sentences.",
reasoning: { effort: "low" },
tools: [
{
type: "function",
name: "lookup_account",
description: "Look up a customer account by email.",
parameters: {
type: "object",
properties: { email: { type: "string" } },
required: ["email"]
}
}
],
tool_choice: "auto"
}
})
});
const { value: EPHEMERAL_KEY } = await r.json(); // pass this to the browser
Next, the browser opens a WebRTC peer connection. It adds the microphone track and a data channel for events. It then posts its SDP offer to the calls endpoint.
Copy CodeCopiedUse a different Browser
// Browser: connect to the Realtime API over WebRTC
// EPHEMERAL_KEY comes from your server endpoint above.
const pc = new RTCPeerConnection();
const audioEl = document.createElement("audio");
audioEl.autoplay = true;
pc.ontrack = (e) => { audioEl.srcObject = e.streams[0]; };
const mic = await navigator.mediaDevices.getUserMedia({ audio: true });
pc.addTrack(mic.getTracks()[0]);
const events = pc.createDataChannel("oai-events");
events.addEventListener("message", (e) => console.log(JSON.parse(e.data)));
const offer = await pc.createOffer();
await pc.setLocalDescription(offer);
const sdp = await fetch("https://api.openai.com/v1/realtime/calls", {
method: "POST",
body: offer.sdp,
headers: {
Authorization: Bearer ${EPHEMERAL_KEY},
"Content-Type": "application/sdp"
}
});
await pc.setRemoteDescription({ type: "answer", sdp: await sdp.text() });
Start reasoning effort at low, then raise it only for harder tasks. Add short instructions that separate hard rules from defaults. Run evals before and after any model migration.
Strengths and Weaknesses
Strengths:
Reasoning now reaches the low-cost mini tier.
Pricing matches the prior gpt-realtime-mini rate.
p95 latency is down at least 25% across Realtime voice models.
Configurable reasoning effort trades latency for depth per task.
Single-model audio pipeline keeps conversations natural.
Weaknesses:
Audio token pricing is hard to convert into per-call cost.
Higher reasoning effort raises both latency and output tokens.
Long sessions resubmit context and grow input cost without pruning.
The mini tier trades some capability against the full gpt-realtime-2.1.
Interactive Explainer
(function(){
window.addEventListener("message", function(e){
if(e && e.data && e.data.type === "resize-rtx" && typeof e.data.height === "number"){
var f = document.getElementById("rtx-frame");
if(f){ f.style.height = e.data.height + "px"; }
}
});
})();
Check out the Technical details here. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post OpenAI Releases GPT-Realtime-2.1 and GPT-Realtime-2.1-mini for Low-Latency Voice Agents in the API appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み