リアルタイム音声対話 AI の知識強化を目指す Tandem アーキテクチャ「KAME」が ICASSP2026 に採択
Sakana AI が発表した KAME アーキテクチャは、高速な音声応答と深い推論能力を両立する「話しながら考える」パラダイムを実現し、リアルタイム会話型 AI の性能限界を突破した画期的な技術である。
キーポイント
「話しながら考える」新パラダイムの確立
従来の「考えてから話す」方式の遅延問題を解消し、音声モデルが即座に応答を開始する一方で、バックエンド LLM が非同期で推論を深める並行処理を実現した。
非同期注入によるオラクル信号
高速なフロントエンドと知識豊富なバックエンド LLM を連携させ、後者の生成候補をリアルタイムに「オラクル信号」として注入することで、思考の深さと応答速度のトレードオフを解消した。
柔軟なバックエンド LLM の差し替え
フロントエンドを変更せずに GPT-4.1、Claude Opus、Gemini 2.5 Flash など任意の LLM をバックエンドとして接続可能であり、タスク特性に応じて最適な推論モデルを選定できる。
タスク別 LLM 性能の実証
実験により、Claude が推論系タスクで、GPT が人文系タスクでそれぞれ高いスコアを示す傾向が確認され、用途に応じたモデル選定の有効性を示した。
影響分析・編集コメントを表示
影響分析
この技術は、リアルタイム音声対話 AI の実用性を飛躍的に高めるものであり、従来の遅延による会話の断絶や浅い応答というボトルネックを解消する画期的なアプローチです。特にバックエンド LLM を柔軟に差し替え可能である点は、各企業の既存基盤やコスト構造に合わせて最適化できるため、産業応用における導入障壁を大幅に下げる可能性があります。
編集コメント
「話しながら考える」という人間のような対話スタイルを技術的に再現した点に大きな意義があり、次世代の会話型 AI の標準アーキテクチャとなる可能性を秘めています。バックエンド LLM の非同期注入という手法は、他のマルチモーダルシステムへの応用も期待される重要な知見です。
音声 AI は、処理のために一時停止することなく深く思考できるのでしょうか？
私たちは、リアルタイムの音声対話型 AI における知識強化のための Tandem Architecture（Tandem Architecture）である KAME を紹介できることを嬉しく思います。この研究は ICASSP2026 に採択されました！🐢
実際の会話では、何を言いたいのかを完全に考え抜くまで待たず、話し始めると同時に思考が追いついてきます。
高速な音声対話モデルはこの挙動を実現しますが、その推論は浅い傾向にあります。知識豊富な LLM を経由するカスケード型パイプラインの方が賢明ですが、追加されるレイテンシーが流れを断ち切ってしまうため、「考えてから話す」という方式に戻ってしまいます。
私たちの新しい論文では、このトレードオフを打破する方法を提案します。これを KAME（日本語で「亀」）と呼びます。
音声対話モデルが高速な応答ループを担当し、即座に返信を開始します。並行して、バックエンドの LLM が非同期で実行され、生成された回答候補がリアルタイムで継続的に「オラクル」信号として注入されます。
これにより、AI のパラダイムは「考えてから話す」から「考えながら話す」へとシフトします。
バックエンドの LLM は完全に交換可能です。フロントエンドを変更することなく、タスクに応じて GPT-4.1、Claude Opus、または Gemini 2.5 Flash を差し込むことができます。私たちの実験では、推論能力においては Claude が高いスコアを示す傾向があり、一方、人文系質問においては GPT の方が優れていました。
ブログ：https://pub.sakana.ai/kame/
論文：https://arxiv.org/abs/2510.02327
モデル：https://huggingface.co/SakanaAI/kame
日本語訳
音声 AI の素早さと賢さを両立できるか？
私たち人間は会話の中で、言いたいことを全部まとめてから話し始めるのではなく、話しながら考えを整理していきます。応答の速い Speech-to-Speech モデルは、この「話しながら考える」を実現しましたが、そのぶん思考が浅くなりがちです。かといって知識豊富な LLM（大規模言語モデル）を挟むカスケード型では、遅延が生じるため「話しながら」が成立しません。
そこで Sakana AI は、このトレードオフを克服する KAME モデルを開発しました。Speech-to-Speech モデルが高速な応答ループを担当し、即座に話し始めます。その裏でバックエンドの LLM（大規模言語モデル）が非同期に推論を進めて応答候補を生成し、それをオラクル信号としてリアルタイムに注入します。これにより「考えてから話す」ではなく「話しながら考える」ことが可能になります。
バックエンドの LLM は差し替えが可能で、タスクに応じて GPT-4.1、Claude Opus、Gemini 2.5 Flash などを使い分けられます。フロントエンド側の変更は必要ありません。私たちの実験では、Claude は推論系のタスクで、GPT は人文系のタスクで、それぞれ高いスコアを出す傾向が見られました。
本研究は ICASSP2026 で発表されます。
ぜひ、お試しください。
ブログ：https://pub.sakana.ai/kame/
論文：https://arxiv.org/abs/2510.02327
モデル：https://huggingface.co/SakanaAI/kame
原文を表示
（＊日本語は英文の後に）
Can a speech AI think deeply without pausing to process?
We’re excited to introduce KAME: Tandem Architecture for Enhancing Knowledge in Real-Time Speech-to-Speech Conversational AI, accepted at ICASSP2026! 🐢
In real conversation, we don’t wait until we’ve fully worked out what we want to say—we start talking, and our thoughts catch up as the sentence unfolds.
Fast speech-to-speech models achieve this, but their reasoning tends to stay shallow. Cascaded pipelines that route through a knowledgeable LLM are smarter, but the added latency breaks the flow—they fall back to “think, then speak.”
In our new paper, we propose a way to break this trade-off. We call it KAME (Turtle in Japanese).
A speech-to-speech model handles the fast response loop and starts replying immediately. In parallel, a backend LLM runs asynchronously, generating response candidates that are continuously injected as “oracle” signals in real time.
This shifts the AI paradigm from “think, then speak” to “speak while thinking.”
The backend LLM is completely swappable. You can plug in GPT-4.1, Claude Opus, or Gemini 2.5 Flash depending on the task without changing the frontend. In our experiments, Claude tended to score higher on reasoning, while GPT did better on humanities questions.
Blog: https://pub.sakana.ai/kame/
Paper: https://arxiv.org/abs/2510.02327
Model: https://huggingface.co/SakanaAI/kame
Japanese
音声AIの素早さと賢さを両立できるか？
私たち人間は会話の中で、言いたいことを全部まとめてから話し始めるのではなく、話しながら考えを整理していきます。応答の速い Speech-to-Speech モデルは、この「話しながら考える」を実現しましたが、そのぶん思考が浅くなりがちです。かといって知識豊富な LLM を挟むカスケード型では、遅延が生じるため「話しながら」が成立しません。
そこで Sakana AI は、このトレードオフを克服するKAMEモデルを開発しました。Speech-to-Speech モデルが高速な応答ループを担当し、即座に話し始めます。その裏でバックエンドの LLM が非同期に推論を進めて応答候補を生成し、それをオラクル信号としてリアルタイムに注入します。これにより「考えてから話す」ではなく「話しながら考える」ことが可能になります。
バックエンドの LLM は差し替えが可能で、タスクに応じてGPT-4.1、Claude Opus、Gemini 2.5 Flashなどを使い分けられます。フロントエンド側の変更は必要ありません。私たちの実験では、Claudeは推論系のタスクで、GPTは人文系のタスクで、それぞれ高いスコアを出す傾向が見られました。
本研究は ICASSP2026 で発表されます。
ぜひ、お試しください。
ブログ: https://pub.sakana.ai/kame/
論文: https://arxiv.org/abs/2510.02327
モデル: https://huggingface.co/SakanaAI/kame
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み