WebRTC のネットワーク劣化対策がプロンプト破損を引き起こす問題
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Simon Willison Blog
Luke Curley氏は、低品質なネットワーク環境でWebRTC が遅延を避けるため音声パケットを積極的に切断する仕様により、AI プロンプトが欠落・破損する問題が発生すると指摘した。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
WebRTC は、ネットワーク状態が悪い場合にプロンプトを劣化させたりドロップしたりするように設計されています。
wtf my dude（何やってんのよ）
WebRTC は遅延を低く保つために、音声パケットを積極的にドロップします。会議通話で歪んだ音声を聞いたことがあるなら、それが WebRTC です。この考え方の根底には、会議通話は素早い往復応答に依存しているため、音声を待って一時停止することは許されないという考え方があります。
…しかし、ユーザーとしては、遅い/高価なプロンプトが正確になるために 200 ミリ秒ほど余計に待つ方がはるかに好ましいです。結局のところ、私は海を煮詰める（膨大な処理を行う）ために良いお金を払っているのですから、ゴミのようなプロンプトではゴミのような回答しか得られません。そもそも LLM は特に即応性があるわけではありません。
しかし、待たされることは許されません。 ブラウザ内で WebRTC の音声パケットを再送信することさえ *不可能* です。Discord で試しましたが、この *実装* はリアルタイムの遅延のためにハードコードされており、そうでなければなりません。
— Luke Curley、『OpenAI の WebRTC 問題』より、OpenAI が大規模に低遅延音声 AI を提供する方法への回答
原文を表示
WebRTC is designed to degrade and drop my prompt during poor network conditions.
wtf my dude
WebRTC aggressively drops audio packets to keep latency low. If you’ve ever heard distorted audio on a conference call, that’s WebRTC baybee. The idea is that conference calls depend on rapid back-and-forth, so pausing to wait for audio is unacceptable.
…but as a user, I would much rather wait an extra 200ms for my slow/expensive prompt to be accurate. After all, I’m paying good money to boil the ocean, and a garbage prompt means a garbage response. It’s not like LLMs are particularly responsive anyway.
But I’m not allowed to wait. It’s impossible to even retransmit a WebRTC audio packet within a browser; we tried at Discord. The implementation is hard-coded for real-time latency or else.
— Luke Curley, OpenAI’s WebRTC Problem, in response to How OpenAI delivers low-latency voice AI at scale
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み