Request: release the audio tokenizer encoder (audio → RVQ tokens) to enable fine-tuning
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 活発
調査の方向性
まず、dav.pth を含むリポジトリのリリース成果物とドキュメントを確認し、どの RVQ tokenizer コンポーネントが存在するかを検証してください。8 層の audio tokenizer encoder と前処理コード、または忠実な再実装に必要な tokenizer の学習設定があれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Thank you for the open-weights release — the quality and the architecture write-up are both impressive.
The release currently ships only the decode-side components: the Global/Local LLMs, RVQ depth decoder, flow-matching module, Flow-VAE/vocoder (and dav.pth, which does include its codec encoder). However, the 8-layer RVQ music tokenizer's encoder — the component that maps a waveform to the semantic (layer-1) and acoustic (layers 2–8) token sequences — does not appear to be included.
Without it, fine-tuning the Global LLM is not possible, because there is no way to produce target semantic-token sequences from one's own audio data. Our use case is research on melody/harmony-conditioned generation: fine-tuning the Global LLM on paired symbolic+audio data while keeping the entire synthesis stack frozen.
Questions:
- Are there plans to release the tokenizer encoder weights (and preprocessing code), similar to how other open music/speech releases have shipped their codecs?
- If not, could you share the tokenizer's training configuration so the community can attempt a faithful reimplementation?
Thanks again for pushing open music generation forward.
- 主要言語
- 言語のデータがありません
- スター
- 896
- フォーク
- 84
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
MiniMax-AI/MiniMax-Music3 のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
MiniMax-AI/MiniMax-Music3#4 · リアクション 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
Long-form instrumental collapse into radio/station-surfing montage + hallucinated lyrics (~10–20s)オープン
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
MiniMax-AI/MiniMax-Music3#7 · コメント 1 件 · リアクション 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
MiniMax-AI/MiniMax-Music3 の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
sktime/sktime#11310 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug] Models with tied embeddings, such as LFM2, fail to load when built with is_symmetric=falseオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 90/100
microsoft/onnxruntime-genai#2632 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
immich-app/immich#31817 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
cusp-ai-oss/tojax#17 ·
-
area:docs area:recipes priority:p2 type:docs wave:3
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
jejjohnson/gaussx#411 ·
メンテナーはふだん 1 日以内に返信