yogoto, Pythonを使わない楽曲管理ツール(2026年11月18日時点)

  • Rust
  • 音楽
  • yogoto

yogotoは、楽曲管理用に開発しているデスクトップアプリだ。YouTube・ニコニコ・SoundCloudのリンクやPC上の音声ファイルを放り込むと、元の音声を再エンコードせずに保持し、BS-RoFormerモデルでステムに分離し、ビートと小節とキーを検出する。AIがインポートや分離をリクエストし、アプリが動作しているMCPサーバー 127.0.0.1 経由でその結果を読み取ることができる。コードはmasseater.devの apps/yogoto にある。

アプリ全体はRustで書かれており、Pythonは使っていない。モデル推論、音声ダウンロード、音声デコードはPythonエコシステムで一般的に扱われる部分だったため、このメモにはそれらをそれぞれ置き換えた際に分かったことを記録しておく。

ステージ動作するもの回避した Python の相当品
ダウンロードRustエクストラクターを自前で用意し、ピン留めしたyt-dlpビルドにフォールバックするyt-dlp
分離BS-RoFormer(candleで実装)PyTorch、ONNX変換
拍と小節rtenランタイムで動くBeat This!のRust移植版beat_this
キーS-KEYをONNXにエクスポート、rten上でskey
デコーディングsymphonia、およびOpus用のopus-rsffmpeg

BS-RoFormerは、コミュニティのチェックポイントを直接読み取ることで、candleで動作する

BS-RoFormerファミリーのセパレーションモデルは、YAML設定付きのPyTorchチェックポイントとして公開されている。これらをONNXに変換するにはPythonが必要なため、ネットワークはcandle 0.11で実装し、.ckptおよび.yamlファイルをそのまま読み込むようにした。重みはHugging Faceの固定リビジョンから取得している。デフォルトモデルはBS-RoFormer SWで、ベース、ドラム、その他、ボーカル、ギター、ピアノの6つのステムを出力する1。

テストでは、同一の重みと固定リビジョンのPyTorch出力をダウンロードし、両者を比較する。当初は出力が一致しなかったが、その原因はスペクトログラムのDCビンをゼロにするオプションである zero_dc だった。CPUで分離テストを実行したところ243秒かかった。ロード済みのセパレータを関数へ渡し、テストでより短いチャンクを使用したところ、約21秒となった。

また、より新しいモデルが利用可能かどうかも確認した。公開ウェイトを持つ最新モデルは、2026-11-08にリリースされたZFTurboの学習コードv1.0.23におけるSubRoformerであり、その平均Multisongスコア10.45はSWを下回っていた。BS Roformer 124 bands 2026.07のように最高スコアを持つモデルは、MVSepでは有料サービスとしてのみ提供されており、そのウェイトは公開されていない2。

自前のダウンローダーは、クラウド上のyt-dlpよりも4〜15倍高速だ

yt-dlpはPythonで書かれているため、各サイト用のエクストラクターをRustで作成し、どちらもクラウドコンテナで計測した。各セルは、プロセス開始から書き込みファイルまでの5回の実行の中央値である。

サイトyt-dlp onefileyt-dlp onedir, -N 8Rust
YouTube, 3.4 MB Opus14.1 s19.5 s0.94 s
ニコニコ、HLSセグメント54個5.6 s4.0 s3.4 s
SoundCloud, AAC HLS4.1 s3.7 s1.4 s

YouTubeにおける差異の大部分はリクエストに起因する。yt-dlpはウォッチページとプレイヤーのJavaScriptを読み込み、Denoを用いてチャレンジを解くが、データセンターのIPからウェブクライアントが403および429レスポンスを受け取り、リトライを行う。Rustのパスでは、visionOSクライアントとして1つのInnerTubeリクエストを送信し、暗号なしの直接URLを返し、1 MiBずつのRangeリクエストを並列にダウンロードする。Rangeヘッダーのない単純なGETリクエストは、約32 KB/sまでスロットリングされる。YouTubeとニコニコのファイルは、yt-dlpの出力とバイト単位で同一である。

Rustのパスは一般的なケースのみに対応している。子供向け動画、年齢制限のある動画、会員限定動画、ライブ配信などは再生できず、単一のクライアントが予告なく切断されることもある。そのため、失敗した場合、yogotoはバージョンとSHA-256でピン留めされた公式のyt-dlp onedirビルドをダウンロードし、代わりにそれを使用する。使用されたルートと独自のパスが失敗した理由は、トレーススパンに記録されている。

symphoniaはOpusをデコードしない

YouTubeの音声はWebMではOpusとして配信されるが、symphonia 0.6にはOpusデコーダーが搭載されていない。Opusパケットをopus-rsでデコードし、OpusHeadヘッダーのバイト10および11にあるpre-skipフィールドで指定されたサンプル数を切り捨てている。これを行わないと、デコードされた音声は余分なサンプルから始まり、元の音声と整合しなくなる。

ステムは24ビットのFLAC形式で書き出している。最初に試したエンコーダのflacencではsymphoniaでデコードできないファイルが生成されたため、flac-codecに切り替えた。floatを32767 * 256でスケーリングしたところ、ラウンドトリップ後に1.5e-5の誤差が出た。クランプして2^23でスケーリングしたところ、誤差は解消した。

BeatおよびKeyモデルはPythonなしでrtenで動作する

Beat This!のRust移植版は、Rustで書かれたランタイムのrten上でONNXモデルを実行し、システムライブラリを必要としない3。ビートとダウンビートの時刻を返し、yogotoはダウンビートから小節を構築する。合成30秒のトラックでは、モデル全体のCPU実行時間は約3秒だった。

キー検出において、DeezerのS-KEYをONNXでエクスポートすると、グラフに特徴抽出が含まれるため、22,050 Hzの生オーディオを受け取り、24個の確率を返す。ファイルサイズは0.33 MBで、同一のrtenで動作する。エクスポートでは、単独のボーカルではキーと同程度の頻度で平行調が得られるため、これが伴奏のステム向けであることが記されている4。yogotoはボーカルを除くすべてのステムを合計し、8小節ごとにキーを推定するため、キーの変化はレンジとして表示される。

ヴァースやコーラスなどのセクションには、SongFormerが適している。ONNXエクスポートが存在するが、それぞれ約410MBのエンコーダー(MuQとMusicFM)が必要であり、MuQの重みは非商用利用に限りライセンスされている5。

クラウドコンテナがメモリよりも先にディスクが不足する

クラウドセッションの書き込み可能ディスク容量は約39 GB、メモリ容量は15 GBである。モノレポのRustチェックを一度にすべて実行したところ、target/debug がディスクを埋め、プッシュは No space left on device で失敗した。ワークスペースごとのチェックを1つずつ実行し、その間に target/debug を削除することで、タスクランナーがキャッシュ済みの結果をリプレイするため、プッシュを続行できる。

出典

  1. enerjazzer/BS-ROFO-SW-Fixed ↩

  2. MVSepアルゴリズム ↩

  3. beat-this-rs ↩

  4. musetric/skey-onnx ↩

  5. akineAItech/CUE-Uttaro-SongFormer-ONNX ↩