Kyutai、マルチ楽器音楽の MIDI 変換向けオープンウェイトモデル「MuScriptor」を公開
Kyutai と Mirelo は、多楽器ミックスの自動楽譜化を可能にするオープンウェイトモデル「MuScriptor」をリリースし、既存技術の限界を超える性能を示した。
キーポイント
Decoder-Only Transformer アーキテクチャの採用
Mel-spectrogram を入力とし、言語モデルと同様にオートレジッシブに MIDI トークンを生成する MuScriptor は、MT3 トークン化スキームに基づき音高、タイミング、楽器を同時に予測する。
3 段階の学習パイプラインによる性能向上
合成データ（D_Synth）での事前学習、170,000 曲の実録データ（D_Real）でのファインチューニング、および手動検証済みデータ（D_RL）を用いた強化学習（GRPO 類似手法）の 3 段階を経て、よりクリーンな楽譜化を実現した。
実証されたベンチマーク性能
大規模モデル（1.4B パラメータ）は、ベースラインである YourMT3+ を上回る Onset F1 54.4、Frame F1 69.0 を達成し、特に楽器識別を含む厳格な Multi F1 において顕著な進歩を示した。
ライセンスとモデルサイズの多様性
Hugging Face で提供される小（103M）、中（307M）、大（1.4B）の 3 つのサイズバリアントのうち、重みは CC BY-NC 4.0 ライセンスで商用利用が制限されている一方、推論コードは MIT ライセンスである。
データと学習段階の効果
実録データ（D_Real）の追加により全指標が約20ポイント向上し、さらに強化学習（RL）によって誤検知が減少しタイミングが鋭くなります。
簡易な導入と機能
単一のインストールコマンドで利用可能で、Pythonコードによるストリーミング処理やMIDIファイルへの直接書き出し、ブラウザ用Web UIの提供に対応しています。
用途と制限事項
プロデューサーから教育者まで多様なユースケースがありますが、商用利用は制限され、特定のスタイル（合唱など）でのタイミング精度や速度情報の欠如という弱点があります。
重要な引用
Transcribing a full multi-instrument mix stays difficult.
MuScriptor's main idea is data, not architecture.
The model learns to favor cleaner transcriptions.
Clearly, every stage improves results, and real data matters most.
Trained on 170k real recordings spanning classical to heavy metal.
影響分析・編集コメントを表示
影響分析
この発表は、単一楽器から多楽器ミックスへの自動楽譜化という長年の課題に対する解決策として、データ駆動型の学習手法の重要性を再認識させる画期的な成果です。特に強化学習を組み合わせた 3 段階学習パイプラインは、今後の音楽 AI モデル開発における新たな標準的なアプローチとなる可能性があります。
編集コメント
商用利用制限があるものの、研究コミュニティや非営利用途において多楽器解析の精度を劇的に高める可能性を秘めた重要なリリースです。
自動音楽転写（AMT）は、オーディオ録音を通常 MIDI 形式の記譜音符に変換する技術です。単一楽器の転写はすでにそれなりに機能していますが、フルな多楽器ミックスの転写はまだ困難な課題です。Kyutai と Mirelo のチームは、このギャップを埋めるために MuScriptor を公開しました。これは、多くのジャンルにわたる実際の多楽器録音データで訓練されたオープンウェイトモデルです。
この記事では、MuScriptor の仕組み、ベンチマーク結果、および実行方法について解説します。
MuScriptor とは何か？
MuScriptor の核心は、音楽転写専用のデコーダーオンリー Transformer です。まず、短いオーディオセグメントのメルスペクトログラムを読み込みます。次に、ピッチ、タイミング、楽器を表現する MIDI 形式トークンを自己回帰的に予測します。つまり、転写処理は MT3 トークン化スキームに従った言語モデルタスクとして扱われます。
今回のリリースでは、Hugging Face で 3 つのウェイトバリアントが提供されています。サイズは小（103M）、中（307M、デフォルト）、大（1.4B）です。推論コードには MIT ライセンスが適用されます。一方、モデルウェイトは CC BY-NC 4.0 ライセンスのため、商用利用は制限されています。
3 つの段階からなるパイプラインの仕組み
MuScriptor の主眼はアーキテクチャではなくデータにあります。そのため、訓練は 3 つの段階を経て行われ、各段階が前段階を基盤として構築されます。
事前学習には DSynth を使用し、約 145 万の MIDI ファイルを処理します。トレーニング中はオンザフライパイプラインがこれらを合成します。データ拡張にはピッチシフト、テンポ変更、ベロシティ調整、楽器のランダム化が含まれます。250 以上のサウンドフォントとランダムなデチューニングにより、ほぼ無限のオーディオ実現が可能となります。
微調整には DReal を使用し、これは内部で収集された 17 万枚の録音セットです。これらを合わせると、注釈付きノートアライメントを含む合計 1 万 1000 時間以上になります。アライメントの多くは、補間と動的時間ワーピング（Dynamic Time Warping）を用いたオーディオシンボリック同期から得られます。品質の低いペアは、ワーピング距離と最大時間伸長係数によってフィルタリングされます。
強化学習によるポストトレーニングには DRL を使用し、300 曲の手動検証済みトラックを処理します。チームは REINFORCE とグループ相対的利得正規化（group-relative advantage normalization）を組み合わせた GRPO 類似手法を適用しています。報酬はオンセット、フレーム、オフセットの 3 つの F スコアの合計で構成されます。その結果、モデルはよりクリーンなトランスクリプションを好むように学習します。
(function(){
window.addEventListener("message",function(e){
if(e.data && e.data.muscriptorHeight){
var f=document.getElementById("muscriptor-embed");
if(f) f.style.height = e.data.muscriptorHeight + "px";
}
});
})();
パフォーマンス評価には、正確な注釈を持つ 372 曲のホールドアウトトラックである DTest を使用します。研究チームは mir_eval ライブラリから楽器非依存メトリクスを報告しています。その中で Multi F1 は最も厳格であり、正しい楽器の特定も必要とするためです。
以下の表は、大規模モデル（約 13 億パラメータ）を用いた各トレーニング段階を、YourMT3+ ベースラインと比較したものです。
モデル (DTest) オンセット F1 フレーム F1 オフセット F1 ドラムス F1 マルチ F1
YourMT3+（ベースライン） 32.5 45.5 17.8 41.4 21.9
MuScriptor · DSynth 34.5 48.9 16.1 21.0 16.2
MuScriptor · DSynth + DReal 54.4 69.3 42.3 43.3 41.6
MuScriptor · DSynth + DReal + DRL 60.4 73.3 49.0 50.2 48.2
明らかに、各段階が結果を改善しており、実データの影響が最も大きいです。合成データのみでのトレーニングでは競合可能なフレーム F1 を達成しますが、オンセットとマルチスコアは弱くなります。DReal を追加すると、すべての指標が約 20 ポイント向上します。最後に、RL（強化学習）によるポストトレーニングにより、偽陰性が減少し、オンセットのタイミングが鋭敏化されます。
クロスデータセットテストも同様の傾向を示しています。例えば、Dagstuhl ChoirSet におけるフレーム F1 は 51.0 から 80.7 に上昇します。それでも、合唱曲のようなハードなスタイルでは、オンセットとオフセットは依然として低くなります。
はじめに
インストールは 1 つのコマンドで完了し、推論は音符イベントを直接ストリーミングします。
コピー コード コピー済み別のブラウザを使用してください
pip install muscriptor (または：uv add muscriptor)
from pathlib import Path
from muscriptor import TranscriptionModel
デフォルトの「medium」バリアントをダウンロードします（"small" / "large" も受け付けます）
model = TranscriptionModel.load_model()
音符イベントをストリーミングします。既知の楽器で条件付けることも可能です
for event in model.transcribe("audio.wav", instruments=["acoustic_piano", "drums"]):
print(event) # NoteStartEvent / NoteEndEvent / ProgressEvent
または、直接 MIDI ファイルに書き出すこともできます
Path("out.mid").write_bytes(model.transcribe_to_midi("audio.wav"))
公開されたモデルについては、RL（強化学習）後のトレーニング済みであるため、cfg_coef を 1 に設定してください。また、uvx muscriptor serve は、ライブピアノロールを備えたブラウザ用 Web UI を起動します。
使用例と具体例
出力が標準 MIDI 形式であるため、多くのワークフローが可能になります：
プロデューサーはミックスから MIDI ベースラインを抽出し、DAW（デジタルオーディオワークステーション）で再編成できます。
音楽学者は歴史的録音を編集可能なスコアに変換して分析に活用できます。
MIR（音楽情報検索）研究者は、転写結果をコードや調認識システムに入力できます。
教育者は、再生中にライブピアノロールを表示する練習用ツールを構築できます。
開発者は、楽器の条件付けパラメータを指定することでドラムのみを転写することも可能です。
強みと弱み
強み：
クラシックからヘビーメタルまでを含む 170,000 曲の実録音データでトレーニング済み。
オープンウェイトに加え、MIT ライセンスの推論コードを提供し、3 つのサイズバリアントを用意。
DTest ベンチマークにおける YourMT3+ ベースライン（F1 スコア 21.9）に対し、マルチ F1 スコアは 48.2 を達成。
楽器条件付けにより出力をカスタマイズし、セグメント間予測の安定性を向上。
ストリーミング API でノートイベントと MIDI データを生成し、ブラウザ用 Web UI も提供。
弱み：
ウェイトは CC BY-NC 4.0 ライセンスのため、商用展開には制限がある。
トークナイザーがベロシティ（強さ）情報を保持せず、同じピッチ・同じ楽器の重なり合う音符を表現できない。
合唱曲や類似スタイルにおいて、オンセットとオフセットの精度は相対的に低い。
大規模モデルを実用的な速度で動作させるには GPU が必要。
5 秒間のセグメントサイズが長距離コンテキストの把握と推論速度に制限をもたらす。
論文、GitHub リポジトリ、モデル重みについてはこちらをご覧ください。また、Twitter でフォローしていただくこともお気軽にどうぞ。忘れずに 150,000 人以上の ML サブレッドに参加し、ニュースレターも購読してください。待ってください！Telegram をご利用ですか？今なら Telegram でも私たちに参加いただけます。
GitHub リポジトリや Hugging Face ページ、製品発表、ウェビナーなどのプロモーションを当社と提携して行いたい場合は、こちらからご連絡ください。
本記事「Kyutai Releases MuScriptor: An Open-Weight Decoder-Only Transformer for Multi-Instrument Music Transcription to MIDI」は、MarkTechPost で最初に公開されました。
原文を表示
Automatic Music Transcription (AMT) converts an audio recording into symbolic notes, usually MIDI. Single-instrument transcription already works reasonably well. However, transcribing a full multi-instrument mix stays difficult. Kyutai and Mirelo team now release MuScriptor to close that gap. It is an open-weight model trained on real, multi-instrument recordings across many genres.
This article explains how MuScriptor works, what the benchmarks show, and how to run it.
What is MuScriptor?
At its core, MuScriptor is a decoder-only Transformer for music transcription. First, it reads a mel-spectrogram of a short audio segment. Then it autoregressively predicts MIDI-like tokens for pitch, timing, and instrument. In effect, transcription becomes a language-modeling task, following the MT3 tokenization scheme.
The release ships three weight variants on Hugging Face. Their sizes are small (103M), medium (307M, default), and large (1.4B). The inference code uses the MIT license. The weights use CC BY-NC 4.0, so commercial use is restricted.
How the Three-Stage Pipeline Works
MuScriptor’s main idea is data, not architecture. Accordingly, training moves through three stages, and each builds on the last.
Pre-training uses D<sub>Synth</sub>, roughly 1.45M MIDI files. An on-the-fly pipeline synthesizes them during training. Augmentations include pitch shifting, tempo changes, velocity adjustment, and instrument randomization. Over 250 soundfonts plus random detuning yield near-infinite audio realizations.
Fine-tuning uses D<sub>Real</sub>, an internal set of 170,000 recordings. Together they total more than 11,000 hours with aligned note annotations. Most alignments come from audio-symbolic synchronization using interpolation and dynamic time warping. Poor pairs are filtered by warping distance and a maximum time-dilation factor.
Reinforcement learning post-training uses D<sub>RL</sub>, 300 manually verified tracks. The team applies a GRPO-like method combining REINFORCE with group-relative advantage normalization. The reward sums three F-scores: onset, frame, and offset. As a result, the model learns to favor cleaner transcriptions.
(function(){
window.addEventListener("message",function(e){
if(e.data && e.data.muscriptorHeight){
var f=document.getElementById("muscriptor-embed");
if(f) f.style.height = e.data.muscriptorHeight + "px";
}
});
})();
Performance
For evaluation, the research team use D<sub>Test</sub>, 372 held-out tracks with accurate annotations. They report instrument-agnostic metrics from the mir_eval library. Among them, Multi F1 is strictest, since it also requires the correct instrument.
The table below traces each training stage against the YourMT3+ baseline, using the large (~1.3B) model.
Model (D<sub>Test</sub>)Onset F1Frame F1Offset F1Drums F1Multi F1
YourMT3+ (baseline)32.545.517.841.421.9
MuScriptor · D<sub>Synth</sub>34.548.916.121.016.2
MuScriptor · D<sub>Synth</sub> + D<sub>Real</sub>54.469.342.343.341.6
MuScriptor · D<sub>Synth</sub> + D<sub>Real</sub> + D<sub>RL</sub>60.473.349.050.248.2
Clearly, every stage improves results, and real data matters most. Synthetic-only training reaches competitive frame F1 but weak onset and multi scores. Adding D<sub>Real</sub> then lifts all metrics by roughly 20 points. Finally, RL post-training reduces false negatives and sharpens onset timing.
Cross-dataset tests point the same way. For example, frame F1 on Dagstuhl ChoirSet rises from 51.0 to 80.7. Even so, onset and offset stay lower on hard styles like chorals.
Getting Started
Installation takes one command, and inference streams note events directly.
Copy CodeCopiedUse a different Browser
pip install muscriptor (or: uv add muscriptor)
from pathlib import Path
from muscriptor import TranscriptionModel
Downloads the default "medium" variant (also accepts "small" / "large")
model = TranscriptionModel.load_model()
Stream note events; optionally condition on known instruments
for event in model.transcribe("audio.wav", instruments=["acoustic_piano", "drums"]):
print(event) # NoteStartEvent / NoteEndEvent / ProgressEvent
Or write a MIDI file directly
Path("out.mid").write_bytes(model.transcribe_to_midi("audio.wav"))
For the released models, keep cfg_coef at 1, since they are already RL post-trained. Additionally, uvx muscriptor serve launches a browser web UI with a live piano roll.
Use Cases with Examples
Because the output is standard MIDI, many workflows open up:
Producers can extract a MIDI bassline from a mix, then re-voice it in a DAW.
Musicologists can convert historical recordings into editable scores for analysis.
MIR researchers can feed transcriptions into chord or key recognition systems.
Educators can build practice tools showing a live piano roll during playback.
Developers can transcribe only drums by passing instrument conditioning.
Strengths and Weaknesses
Strengths:
Trained on 170k real recordings spanning classical to heavy metal.
Open weights plus MIT-licensed inference code, in three size variants.
Multi F1 of 48.2 versus 21.9 for the YourMT3+ baseline on D<sub>Test</sub>.
Instrument conditioning customizes output and stabilizes cross-segment predictions.
A streaming API emits note events and MIDI, alongside a browser web UI.
Weaknesses:
Weights are CC BY-NC 4.0, so commercial deployment is restricted.
The tokenizer drops velocity and cannot represent overlapping same-pitch, same-instrument notes.
Onset and offset accuracy stay lower on chorals and similar styles.
The large model wants a GPU for practical speed.
The 5-second segment size limits long-range context and inference speed.
Check out the Paper, GitHub Repo and Model Weights. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post Kyutai Releases MuScriptor: An Open-Weight Decoder-Only Transformer for Multi-Instrument Music Transcription to MIDI appeared first on MarkTechPost.
関連記事
RL エージェントのスキルを活用した自己研究ワークフローの実行方法と NVIDIA NeMo の活用
Google、ブラウザ上で WebGPU を経由して .tflite モデルを実行する JavaScript バインディング「LiteRT.js」をリリース
PrismML が Qwen3.6-27B の軽量版「Bonsai 27B」をリリース：ラップトップやスマートフォンで動作する 1 ビットおよび 3 値モデル
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み