Kyutai、マルチ楽器音楽の MIDI 変換向けオープンウェイトモデル「MuScriptor」を公開

記事の3ポイント

1. 1

   Decoder-Only Transformer の採用

   MuScriptor は音声セグメントのメルスペクトログラムを入力とし、言語モデル化されたタスクとしてピッチ、タイミング、楽器を自己回帰的に予測するアーキテクチャを採用している。

2. 2

   3 段階のトレーニングパイプライン

   同モデルは、約 145 万ファイルの合成データによる事前学習、17 万曲の実録音データによる微調整、および 300 トラックの手動検証データを用いた強化学習という 3 段階を経て訓練される。

3. 3

   性能とライセンスの明示

   評価では既存モデルを凌駕するスコアを示し、1.4B パラメータの大規模版を含む 3 つのサイズバリアントが Hugging Face で提供されるが、商用利用は制限されている。