Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Reproducibility] Training script / config for MiniMax-H3-TrainingAdapter (DeCFG adapter) itself

Aperta
  • Qualcosa non va?
#1,713 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Documentazione
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
documentation, machine-learning

Direzione di ricerca

Start with examples/minimax_h3/model_training/train.py and the scripts under examples/minimax_h3/model_training/lora/, then trace how preset_lora_path and preset_lora_model are consumed. Done means documenting or adding the adapter-training command, data selection, objective, hyperparameters, checkpoint choice, and weight conversion well enough to reproduce the named adapter files.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi, and thanks for open-sourcing the MiniMax-H3 work.

I'd like to reproduce the training adapter itself — https://modelscope.ai/models/DiffSynth-Studio/MiniMax-H3-TrainingAdapter — not the downstream LoRAs.

What I've already found in the repo

  • examples/minimax_h3/model_training/train.py and the two-stage sft:data_process → sft:train workflow.
  • The .sh scripts under examples/minimax_h3/model_training/lora/ (e.g. MiniMax-H3-Pruned-FL2VA.sh, the Ref2VA variants). These train downstream LoRAs and reference the adapter only as an optional --preset_lora_path / --preset_lora_model "dit" to fuse in during training.
  • The base weights (Comfy-Org/MiniMax-H3, MiniMax/MiniMax-H3) and the MiniMax-H3-Self-Generated-Dataset.

What I can't find
A script or config that produces the adapter itself (the rank-64 DeCFG LoRA, FL2VA and Ref2VA variants) from the CFG-distilled base + the self-generated dataset. The example scripts consume the adapter rather than create it.

Could you share the following for the adapter's own training?

  1. The exact training script / command (equivalent .sh) used to produce model_for_comfy_dit.safetensors and model_ref2va_for_comfy_dit.safetensors.
  2. The DeCFG / "differential training" details — what the objective is and how it differs from standard SFT LoRA training (loss formulation, any CFG/DeCFG-specific handling, timestep sampling/shift).
  3. Hyperparameters: LoRA rank (64?) and target modules, learning rate, batch size, number of steps/epochs, dataset_repeat, resolution / num_frames, audio_loss_weight, optimizer/schedule, and seed if fixed.
  4. Which subset/split of MiniMax-H3-Self-Generated-Dataset was used, and whether the released dataset is the complete training set or a sample.
  5. Base checkpoint used as the starting point (the pruned bf16 DiT, or another), plus any pre/post-processing of the adapter weights (e.g. the ComfyUI qkv layout conversion).

Happy to open a PR to add a reproduction script/README under examples/minimax_h3/ if that's easier on your side. Thanks!

Lingua principale
Python
Stelle
13.2k
Fork
1.3k
Merge medio
22h 15m
PR unite (30g)
31

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di modelscope/DiffSynth-Studio

Tutte le issue di modelscope/DiffSynth-Studio

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.