Kyutai、マルチ楽器音楽の MIDI 変換向けオープンウェイトモデル「MuScriptor」を公開

自動音楽転写（AMT）は、オーディオ録音を通常 MIDI 形式の記譜音符に変換する技術です。単一楽器の転写はすでにそれなりに機能していますが、フルな多楽器ミックスの転写はまだ困難な課題です。Kyutai と Mirelo のチームは、このギャップを埋めるために MuScriptor を公開しました。これは、多くのジャンルにわたる実際の多楽器録音データで訓練されたオープンウェイトモデルです。

この記事では、MuScriptor の仕組み、ベンチマーク結果、および実行方法について解説します。

MuScriptor とは何か？

MuScriptor の核心は、音楽転写専用のデコーダーオンリー Transformer です。まず、短いオーディオセグメントのメルスペクトログラムを読み込みます。次に、ピッチ、タイミング、楽器を表現する MIDI 形式トークンを自己回帰的に予測します。つまり、転写処理は MT3 トークン化スキームに従った言語モデルタスクとして扱われます。

今回のリリースでは、Hugging Face で 3 つのウェイトバリアントが提供されています。サイズは小（103M）、中（307M、デフォルト）、大（1.4B）です。推論コードには MIT ライセンスが適用されます。一方、モデルウェイトは CC BY-NC 4.0 ライセンスのため、商用利用は制限されています。

3 つの段階からなるパイプラインの仕組み

MuScriptor の主眼はアーキテクチャではなくデータにあります。そのため、訓練は 3 つの段階を経て行われ、各段階が前段階を基盤として構築されます。

事前学習には DSynth を使用し、約 145 万の MIDI ファイルを処理します。トレーニング中はオンザフライパイプラインがこれらを合成します。データ拡張にはピッチシフト、テンポ変更、ベロシティ調整、楽器のランダム化が含まれます。250 以上のサウンドフォントとランダムなデチューニングにより、ほぼ無限のオーディオ実現が可能となります。

微調整には DReal を使用し、これは内部で収集された 17 万枚の録音セットです。これらを合わせると、注釈付きノートアライメントを含む合計 1 万 1000 時間以上になります。アライメントの多くは、補間と動的時間ワーピング（Dynamic Time Warping）を用いたオーディオシンボリック同期から得られます。品質の低いペアは、ワーピング距離と最大時間伸長係数によってフィルタリングされます。

強化学習によるポストトレーニングには DRL を使用し、300 曲の手動検証済みトラックを処理します。チームは REINFORCE とグループ相対的利得正規化（group-relative advantage normalization）を組み合わせた GRPO 類似手法を適用しています。報酬はオンセット、フレーム、オフセットの 3 つの F スコアの合計で構成されます。その結果、モデルはよりクリーンなトランスクリプションを好むように学習します。

パフォーマンス評価には、正確な注釈を持つ 372 曲のホールドアウトトラックである DTest を使用します。研究チームは mir_eval ライブラリから楽器非依存メトリクスを報告しています。その中で Multi F1 は最も厳格であり、正しい楽器の特定も必要とするためです。

以下の表は、大規模モデル（約 13 億パラメータ）を用いた各トレーニング段階を、YourMT3+ ベースラインと比較したものです。

モデル (DTest) オンセット F1 フレーム F1 オフセット F1 ドラムス F1 マルチ F1

YourMT3+（ベースライン） 32.5 45.5 17.8 41.4 21.9

MuScriptor · DSynth 34.5 48.9 16.1 21.0 16.2

MuScriptor · DSynth + DReal 54.4 69.3 42.3 43.3 41.6

MuScriptor · DSynth + DReal + DRL 60.4 73.3 49.0 50.2 48.2

明らかに、各段階が結果を改善しており、実データの影響が最も大きいです。合成データのみでのトレーニングでは競合可能なフレーム F1 を達成しますが、オンセットとマルチスコアは弱くなります。DReal を追加すると、すべての指標が約 20 ポイント向上します。最後に、RL（強化学習）によるポストトレーニングにより、偽陰性が減少し、オンセットのタイミングが鋭敏化されます。

クロスデータセットテストも同様の傾向を示しています。例えば、Dagstuhl ChoirSet におけるフレーム F1 は 51.0 から 80.7 に上昇します。それでも、合唱曲のようなハードなスタイルでは、オンセットとオフセットは依然として低くなります。

はじめに

インストールは 1 つのコマンドで完了し、推論は音符イベントを直接ストリーミングします。

コピー コード コピー済み別のブラウザを使用してください

pip install muscriptor (または：uv add muscriptor)

from pathlib import Path

from muscriptor import TranscriptionModel

デフォルトの「medium」バリアントをダウンロードします（"small" / "large" も受け付けます）

model = TranscriptionModel.load_model()

音符イベントをストリーミングします。既知の楽器で条件付けることも可能です

for event in model.transcribe("audio.wav", instruments=["acoustic_piano", "drums"]):

print(event) # NoteStartEvent / NoteEndEvent / ProgressEvent

または、直接 MIDI ファイルに書き出すこともできます

Path("out.mid").write_bytes(model.transcribe_to_midi("audio.wav"))

公開されたモデルについては、RL（強化学習）後のトレーニング済みであるため、cfg_coef を 1 に設定してください。また、uvx muscriptor serve は、ライブピアノロールを備えたブラウザ用 Web UI を起動します。

使用例と具体例

出力が標準 MIDI 形式であるため、多くのワークフローが可能になります：

プロデューサーはミックスから MIDI ベースラインを抽出し、DAW（デジタルオーディオワークステーション）で再編成できます。

音楽学者は歴史的録音を編集可能なスコアに変換して分析に活用できます。

MIR（音楽情報検索）研究者は、転写結果をコードや調認識システムに入力できます。

教育者は、再生中にライブピアノロールを表示する練習用ツールを構築できます。

開発者は、楽器の条件付けパラメータを指定することでドラムのみを転写することも可能です。

強みと弱み

強み：

クラシックからヘビーメタルまでを含む 170,000 曲の実録音データでトレーニング済み。

オープンウェイトに加え、MIT ライセンスの推論コードを提供し、3 つのサイズバリアントを用意。

DTest ベンチマークにおける YourMT3+ ベースライン（F1 スコア 21.9）に対し、マルチ F1 スコアは 48.2 を達成。

楽器条件付けにより出力をカスタマイズし、セグメント間予測の安定性を向上。

ストリーミング API でノートイベントと MIDI データを生成し、ブラウザ用 Web UI も提供。

弱み：

ウェイトは CC BY-NC 4.0 ライセンスのため、商用展開には制限がある。

トークナイザーがベロシティ（強さ）情報を保持せず、同じピッチ・同じ楽器の重なり合う音符を表現できない。

合唱曲や類似スタイルにおいて、オンセットとオフセットの精度は相対的に低い。

大規模モデルを実用的な速度で動作させるには GPU が必要。

5 秒間のセグメントサイズが長距離コンテキストの把握と推論速度に制限をもたらす。