[MiniMax-H3] Load the pruned ComfyUI checkpoints and add single-file support for MiniMax-H3-Image
Maintainer thường phản hồi trong vòng 1 ngày
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 28/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
The referenced implementation is PR #15299, already open, so start by reading that diff rather than the issue text alone. The transformers live under src/diffusers/models/transformers/ (MiniMaxH3Transformer3DModel, MiniMaxH3ImageTransformer2DModel), and the single-file mapping is in src/diffusers/loaders/single_file_model.py plus the MiniMax-H3 original-config file in single_file_utils.py. The open design question — whether a new config_from_checkpoint_fn key in the single-file registry is acceptable — needs a maintainer answer before any patch, and done means a pruned ComfyUI checkpoint loads through from_single_file with tests covering the unstripped config path.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Is your feature request related to a problem? Please describe.
ComfyUI distributes pruned MiniMax-H3 checkpoints (Comfy-Org/MiniMax-H3, Comfy-Org/MiniMax-H3-Image). They cannot be loaded in diffusers today:
- The pruned files replace the timestep MLP and the wide AdaLN projections (about 40% of the parameters) with the activated timestep curve sampled on a 1025-point grid (
adaln_t_table) and 8-input AdaLN projections.MiniMaxH3Transformer3DModelhas no module that matches these weights, andfrom_single_filerefusesadaln_t_table. MiniMaxH3ImageTransformer2DModelhas no single-file support at all (noFromOriginalModelMixin), and the ComfyUI file stores the PDD heads as a stacked bank (head 0 plus per-step offsets) rather than aspdd_proj_out.{i}.
Describe the solution you'd like.
- An opt-in config field (
adaln_curve_grid) on both transformers. When set,time_embedderis a lookup of the sampled curve, linearly interpolated as ComfyUI does, and the AdaLN projections skip their SiLU. Stock configs keep their current behaviour. from_single_filefor both transformers: mapadaln_t_tableto the table, unstack the PDD head bank for the image model, and refuse quantized ComfyUI files with a message naming the bf16 file.
transformer = MiniMaxH3ImageTransformer2DModel.from_single_file(
"https://huggingface.co/Comfy-Org/MiniMax-H3-Image/blob/main/diffusion_models/minimax_h3_image_pruned_bf16.safetensors",
dtype=torch.bfloat16,
)
Design question for maintainers
The repository config on the Hub describes the unpruned model, and no Hub repo carries a pruned diffusers config that a model type could point at. So the pruned shape (adaln_curve_grid, time_embed_dim) has to be read off the checkpoint itself. #15299 does this with a new optional key in the single-file registry, config_from_checkpoint_fn. Is a new registry key acceptable here, or would you prefer another route (for example a separate model type with its own config)?
Additional context.
Implementation proposed in #15299.
- Ngôn ngữ chính
- Python
- Star
- 34.9k
- Fork
- 7.5k
- Merge trung bình
- 3 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 65
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của huggingface/diffusers
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
huggingface/diffusers#15363 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
`ZImageImg2ImgPipeline` / `ZImageInpaintPipeline`: explicit height/width different from the input image raises RuntimeErrorCó thể đã có người làm @chessing234 đã nhận 1 ngày trước. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
huggingface/diffusers#15337 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Multi-vector textual inversion uses only the first vector when the token has uppercase letters (transformers v5)Có thể đã có người làm @sunhouy đã nhận 2 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
huggingface/diffusers#15313 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
TCDScheduler advances the generator on the final step of a strength-truncated custom scheduleCó thể đã có người làm @SIDDARTHAREDDY8 đã nhận 5 ngày trước. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
huggingface/diffusers#15288 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
unload_textual_inversion(token) leaves the extra tokens of a multi-vector embedding behind, so it can't be loaded againCó thể đã có người làm @sohailshk đã nhận 11 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
huggingface/diffusers#15211 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của huggingface/diffusers
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Unused loot bag group names left in dreamcraft en_US.langCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởStatus: Triage Suggestion
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug frontend sev-5
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 83/100
-
core good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
-
b4b code health next
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ESCOMP/CTSM#4330 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày