[MiniMax-H3] Load the pruned ComfyUI checkpoints and add single-file support for MiniMax-H3-Image
I maintainer di solito rispondono entro 1 giorno
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 28/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Ambito
- machine-learning
Direzione di ricerca
The referenced implementation is PR #15299, already open, so start by reading that diff rather than the issue text alone. The transformers live under src/diffusers/models/transformers/ (MiniMaxH3Transformer3DModel, MiniMaxH3ImageTransformer2DModel), and the single-file mapping is in src/diffusers/loaders/single_file_model.py plus the MiniMax-H3 original-config file in single_file_utils.py. The open design question — whether a new config_from_checkpoint_fn key in the single-file registry is acceptable — needs a maintainer answer before any patch, and done means a pruned ComfyUI checkpoint loads through from_single_file with tests covering the unstripped config path.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Is your feature request related to a problem? Please describe.
ComfyUI distributes pruned MiniMax-H3 checkpoints (Comfy-Org/MiniMax-H3, Comfy-Org/MiniMax-H3-Image). They cannot be loaded in diffusers today:
- The pruned files replace the timestep MLP and the wide AdaLN projections (about 40% of the parameters) with the activated timestep curve sampled on a 1025-point grid (
adaln_t_table) and 8-input AdaLN projections.MiniMaxH3Transformer3DModelhas no module that matches these weights, andfrom_single_filerefusesadaln_t_table. MiniMaxH3ImageTransformer2DModelhas no single-file support at all (noFromOriginalModelMixin), and the ComfyUI file stores the PDD heads as a stacked bank (head 0 plus per-step offsets) rather than aspdd_proj_out.{i}.
Describe the solution you'd like.
- An opt-in config field (
adaln_curve_grid) on both transformers. When set,time_embedderis a lookup of the sampled curve, linearly interpolated as ComfyUI does, and the AdaLN projections skip their SiLU. Stock configs keep their current behaviour. from_single_filefor both transformers: mapadaln_t_tableto the table, unstack the PDD head bank for the image model, and refuse quantized ComfyUI files with a message naming the bf16 file.
transformer = MiniMaxH3ImageTransformer2DModel.from_single_file(
"https://huggingface.co/Comfy-Org/MiniMax-H3-Image/blob/main/diffusion_models/minimax_h3_image_pruned_bf16.safetensors",
dtype=torch.bfloat16,
)
Design question for maintainers
The repository config on the Hub describes the unpruned model, and no Hub repo carries a pruned diffusers config that a model type could point at. So the pruned shape (adaln_curve_grid, time_embed_dim) has to be read off the checkpoint itself. #15299 does this with a new optional key in the single-file registry, config_from_checkpoint_fn. Is a new registry key acceptable here, or would you prefer another route (for example a separate model type with its own config)?
Additional context.
Implementation proposed in #15299.
- Lingua principale
- Python
- Stelle
- 34.9k
- Fork
- 7.5k
- Merge medio
- 3g 16h
- PR unite (30g)
- 65
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di huggingface/diffusers
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
huggingface/diffusers#15363 ·
I maintainer di solito rispondono entro 1 giorno
-
`ZImageImg2ImgPipeline` / `ZImageInpaintPipeline`: explicit height/width different from the input image raises RuntimeErrorForse già presa @chessing234 l’ha presa 1 giorno fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
huggingface/diffusers#15337 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Multi-vector textual inversion uses only the first vector when the token has uppercase letters (transformers v5)Forse già presa @sunhouy l’ha presa 2 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
huggingface/diffusers#15313 ·
I maintainer di solito rispondono entro 1 giorno
-
TCDScheduler advances the generator on the final step of a strength-truncated custom scheduleForse già presa @SIDDARTHAREDDY8 l’ha presa 5 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
huggingface/diffusers#15288 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
unload_textual_inversion(token) leaves the extra tokens of a multi-vector embedding behind, so it can't be loaded againForse già presa @sohailshk l’ha presa 11 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
huggingface/diffusers#15211 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di huggingface/diffusers
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
I maintainer di solito rispondono entro 1 giorno
-
Unused loot bag group names left in dreamcraft en_US.langForse già presa Una pull request collegata a questa issue è aperta o già unita. ApertaStatus: Triage Suggestion
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
I maintainer di solito rispondono entro 1 giorno
-
bug frontend sev-5
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
-
core good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
b4b code health next
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ESCOMP/CTSM#4330 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno