Violin：言語の壁を破るオープンソース動画翻訳スキル

動画は情報共有のための最も人気のある媒体の一つとなっています。しかし、インターネット上の人気動画コンテンツの言語分布は、必ずしも世界の視聴者の多様性を反映しているわけではありません。例えば、ある先行研究では、トップ 250 の YouTube チャンネルからの動画の 66% が英語である一方、2 番目に一般的な言語であるスペイン語はわずか 15% を占めていることが示されており [1,2]、世界中の視聴者にとってこのコンテンツの多くがアクセスできない状態となっています。この格差は、スケーラブルな動画翻訳ソリューションの必要性を浮き彫りにしています。

最先端の AI が言語の壁を打破し、動画コンテンツを世界の視聴者により身近なものにできるでしょうか？

本日、私たちは Together API によって支えられた完全オープンソースの動画翻訳ツール「Violin」をご紹介できることを嬉しく思います。Violin のパイプラインは、最先端の音声認識技術、大規模言語モデル（LLM）、および音声合成を活用して、高品質な動画翻訳を実現します。

標準的な翻訳機能に加え、動画コンテンツを認識するチャットアシスタントや自然言語による音声ピッカーなど、対話的でパーソナライズされた機能も開発しています。Violin が多言語のユーザーが情報をより容易にアクセスできるよう支援し、高品質な動画コンテンツがウェブ上でさらに広く広がっていく手助けとなることを願っています。

Violin: 動画共有における言語の壁を打破する

Violin の能力を示すために、Together AI からの 最近の技術トーク を取り上げ、別の言語に翻訳しました。

Before translation

After translation in Chinese

Dr. Percy Liang の Together Talks シリーズの紹介を、翻訳前（左）と中国語への翻訳後（右）で視聴してください。

動画とチャットする。 Violin には、動画の内容に基づいて質問に答えるビルトインのマルチモーダル チャット アシスタントも含まれています。ユーザーは、動画内の詳細を照会したり、要約を求めたり、特定のトピックについてさらに深く掘り下げたりすることができます — これらすべてが同じインターフェース内で行えます。

Violin の仕組み

*Violin の仕組み: 入力動画から完全に翻訳された出力まで、Violin は ASR（自動音声認識）、LLM による翻訳、TTS（テキスト読み上げ）音声合成という 3 つのコア段階をオーケストレーションし、ビデオ チャット アシスタントと音声スタイルのパーソナライズもサポートします。すべて Together AI クラウド上で完結します。

Violin は 3 つの単純な段階で動作します。

まず、動画の音声を抽出してタイムスタンプ付きテキストに変換します。Together の Whisper V3 large エンドポイントを使用しており、最適化された速度で高品質な多言語トランスクリプションを提供します。

次に、大規模言語モデルがこのトランスクリプトを翻訳します。ここではデフォルトの翻訳エンジンとして、最新の Deepseek V4 Pro の進歩を活用しています。また、忠実性と正確性を維持するために、ユーザーが事前に定義された翻訳ルールのリストを入力できる機能も有効化しています。

最後に、TTS（Text-to-Speech）モデルが翻訳された音声データを生成し、ユーザーはプレーンテキストで希望する音声の特徴を指定できます。共同ホストされている Cartesia の Sonic 3 は、韓国語、オランダ語、イタリア語、中国語など、多様なネイティブスピーカーの声をサポートしており、翻訳された動画に自然な響きを与えます。なお、当ツールではボイスクローニングは許可されておらず、元の話者とは異なる独自の音声を使用し、デフォルトではその新しい音声を元の音声の上に低音量で重ね合わせる方式を採用しています。

さらに、ビデオチャットモジュールにより、動画に関する質問を行うことが可能です。これは、オーディオの内容と画面に表示されている内容を両方理解するビジョン・ランゲージモデルによって実現されています。具体的には、直近のビデオフレームと字幕コンテキストをサンプリングし、Qwen3.5-397B-A17B などのビジョン・ランゲージモデルに送信して自由形式の質問応答を行います。これにより、モデルはこれらの文脈に基づいて適切な回答を返すことができます。

誰でも使える設計：Web アプリ、CLI、エージェントスキル

Violin は使いやすさを中核として構築されました。シンプルな Web インターフェースを好むコンテンツクリエイター、コマンドラインで作業する開発者、あるいは自律型エージェントにツールを組み込む AI プラクティショナーなど、あらゆるユーザーに対応しています。

• Web アプリ – ビデオのアップロード、翻訳オプションの選択、結果のプレビュー、ビデオアシスタントとの対話を可能にする、クリーンでミニマルなフロントエンド。コード不要。
• CLI ツール – スクリプト作成、バッチ処理、既存のパイプラインへの統合のためのシンプルなコマンドラインインターフェース。
• エージェントスキル – Violin の機能を、一般的なエージェントフレームワークにそのまま組み込める「スキル」としてパッケージ化しました。

GUI からバックエンドモデル、そしてエージェントスキルに至るまで、すべてが完全にオープンソースです。私たちはコードベースを寛容な MIT ライセンスの下で公開し、コミュニティによる適応、拡張、改善を呼びかけています。オープンな協働こそが、ビデオコンテンツを真に言語非依存のものにするための最速の道であると信じています。

参加しよう

私たちはまだ始まったばかりです。あなたの助けが必要です。Violin が役に立つと感じたり、より良くするためのアイデアをお持ちの場合は：

• GitHub リポジトリをご覧ください：github.com/shang-zhu/violin
• メールでお問い合わせください：heyviolinai@gmail.com
• GitHub のイシューを開くか議論を開始してください – 皆様のフィードバックを大切にしています。
• デモアプリを試してみてください：https://violin-ai.com/（リリース後、短期間ホストされます）

謝辞

Martijn Bartelds, Yongchan Kwon, Federico Bianchi, Kaitlyn Zhouの皆さんに、貴重なフィードバックをいただき感謝いたします。Violin の基盤となっている Whisper、DeepSeek、Qwen、Cartesia のオープンソースモデル構築者の方々にも厚く御礼申し上げます。開発中に動画やフィードバックを提供いただいた Hassan El Mghari 氏と Percy Liang 氏にも特別に感謝します。