Simon Willison Blog研究・専門家·2026年6月13日 08:53·約2分

OpenAI WebRTC オーディオセッション、文書コンテキスト機能を追加

#GPT-Realtime-2 #RAG #Audio AI #Conversational AI #OpenAI

整理・翻訳:ainew.jp 編集システムAIによる自動処理作り方と限界

まず要点

Simon Willison氏が開発したツールが、OpenAI の新モデルに対応し、音声対話時に文書のコンテキストを参照可能になった。

Source Article

元記事を日本語で読む

本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。

OpenAI WebRTC オーディオセッション、ドキュメントコンテキスト対応版

私はこのツールの最初のバージョンを 2024 年 12 月に構築し、当時新しく登場した OpenAI の WebRTC API を試すために、リアルタイム音声モデルとの対話を行いました。

先月、OpenAI はその API に GPT‑Realtime‑2 という全く新しいモデルを導入しました。これは「GPT‑5 クラスの推論能力を備えた最初の音声モデル」として宣伝されており、知識のカットオフ日は 2024 年 9 月 30 日です。

私はこのモデルが ChatGPT の iPhone アプリに登場するのを待っていましたが、まだ実装されていません。そこで、以前使っていたプレイグラウンドを再訪しました。

現在はより優れたモデルを選択できるようになり、また大量のドキュメントコンテキストを貼り付けることも可能です。これにより、ブラウザ上で会話形式で探索したい情報について、音声対話を行うことができます。

image

Tags: audio, tools, ai, openai, generative-ai, llms, multi-modal-output, webrtc

OpenAI は、WebRTC を使用した音声セッションに文脈（ドキュメントコンテキスト）のサポートを追加しました。これにより、AI エージェントはユーザーが参照しているドキュメントの内容を理解し、より正確で関連性の高い回答を提供できるようになります。

この機能は、開発者が WebRTC 経由でリアルタイムの音声ストリームを処理する際に、ドキュメントのコンテキスト情報をセッションに含めることを可能にします。具体的には、ユーザーが特定のファイルやページを参照している場合、その内容が AI に渡され、文脈に基づいた対話が可能になります。

技術的には、この機能は OpenAI の API 拡張の一部として実装されており、既存の WebRTC セッション構造と互換性があります。開発者は、ドキュメントコンテキストを送信する際に、特定のフォーマットに従ってデータを準備する必要があります。

このアップデートにより、音声ベースの AI アプリケーションがより高度なタスクを処理できるようになり、ユーザー体験が大幅に向上することが期待されています。特に、技術文書やマニュアルの参照が必要なシナリオにおいて、その効果が顕著です。

詳細は OpenAI の公式ドキュメントおよび GitHub リポジトリで確認できます。開発者は、新しい機能を活用して、より柔軟で強力な音声 AI アプリケーションを構築できるようになります。

原文を表示

OpenAI WebRTC Audio Session, now with document context

I built the first version of this tool in December 2024 to try out the then-new OpenAI WebRTC API for interacting with their realtime audio models.

Last month OpenAI introduced a brand new model to that API called GPT‑Realtime‑2, which they promoted as "our first voice model with GPT‑5‑class reasoning" - with a Sep 30, 2024 knowledge cut-off.

I've been waiting for that model to show up in the ChatGPT iPhone app but it still hasn't, so I revisited my old playground.

You can now pick the better model, and you can also paste in a big chunk of document context so you can have as audio conversation in your browser about whatever information you think would be useful to explore in a conversational way.