What’s the Correct Way to Quantize Qwen3.5 (MoE/Dense) to NVFP4?
Maintainer thường phản hồi trong vòng 2 ngày
@Edwardf0t1 đang làm issue này rồi.
Từ ngày 16/4/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Hi, I’m currently unable to find any up-to-date documentation or guidance on properly quantizing Qwen3.5 (MoE/Dense) to NVFP4.
This process was working previously around the time #897 was merged, but now I’m running into issues. I’ve tried both --qformat nvfp4_mlp_only and --qformat nvfp4_experts_only, but neither seems to apply the expected quantization—the exported weights are still roughly equivalent in size to BF16.
I’d really appreciate any guidance or pointers on what might have changed or what I might be missing. Thanks in advance!
@Edwardf0t1 @cjluo-nv
- Ngôn ngữ chính
- Python
- Star
- 5.5k
- Fork
- 785
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 278
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của NVIDIA/Model-Optimizer
-
[Bug] modelopt-mcp: all launcher subprocesses hang when the server runs as a stdio MCP server — missing stdin=DEVNULLCó thể đã có người làm @ChenhanYu đã nhận 33 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
NVIDIA/Model-Optimizer#2551 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Puzzletron Progress 6/8 (calculating one block scores) takes 10 to 20 times more than in tutorialCó thể làm lại được @tejasng053 đã nhận 40 ngày trước và không có pull request nào đang mở. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
NVIDIA/Model-Optimizer#1667 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
CUDA INT8 fake quantization converts channels-last inputs to default contiguous layoutCó thể đã có người làm @thuiaaa đã nhận 1 ngày trước. Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 50/100
NVIDIA/Model-Optimizer#3195 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 18/100
NVIDIA/Model-Optimizer#3178 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
INT4 packing extension never loads from a read-only installCó thể đã có người làm @ajrasane đã nhận 6 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
NVIDIA/Model-Optimizer#3025 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của NVIDIA/Model-Optimizer
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
area:docs documentation effort:M ready-for-agent
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
mczielinski/ob-analytics#423 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
infra
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 3 ngày
-
documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
vllm-project/vllm-ascend#21033 ·
Maintainer thường phản hồi trong vòng 1 ngày