NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
NVIDIA/Model-Optimizer 对新手友好吗？
近 30 天，NVIDIA/Model-Optimizer 合并了外部贡献者提交的 254 个 PR 中的 100 个，维护者通常 2 天内回复。 目前有 2 个适合新手的 issue 开放。
- 星标
- 5.2k
- 派生
- 736
- 开放的新手 issue
- 2
- 已索引 issue
- 106
- 平均合并
- 3 天 14 小时
- 30 天内合并 PR
- 160
如何为 NVIDIA/Model-Optimizer 做贡献
可能已有人在做的 issue 排在最后。 全部按时间排序
-
难度 1/5 1 小时以内 新手友好度 1/100
NVIDIA/Model-Optimizer#2481 ·
维护者通常 2 天内回复
-
calling mtq.quantize causes AttributeError: 'tuple' object has no attribute 'dim'可能重新可做 @jingyu-ml 于 28 天前认领，目前没有进行中的 PR。 未关闭question
NVIDIA/Model-Optimizer#2424 · 2 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
hf_ptq.py: deprecated --auto_quantize_bits CLI flag silently no-ops instead of enabling AutoQuantize可能重新可做 @meenchen 于 51 天前认领，目前没有进行中的 PR。 未关闭
NVIDIA/Model-Optimizer#2230 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
feature request
难度 4/5 3-5 天 新手友好度 48/100
NVIDIA/Model-Optimizer#2220 · 2 条评论 ·
维护者通常 2 天内回复
-
[Bug] init_quantized_weights / --low_memory_mode exports numerically broken NVFP4 (quantizes meta tensors before weights load)可能重新可做 @cjluo-nv 于 57 天前认领，目前没有进行中的 PR。 未关闭
NVIDIA/Model-Optimizer#2160 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Can `auto_quant` calculate the score for `kv-cache` separately?可能重新可做 @meenchen 于 58 天前认领，目前没有进行中的 PR。 未关闭question
NVIDIA/Model-Optimizer#2158 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Support MiniMax-H3 Visual VAE quantization in ModelOpt可能重新可做 @cjluo-nv 于 58 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#2137 · 已指派 1 人 ·
维护者通常 2 天内回复
-
# [ONNX][Autotune] Integrated quantization does not preserve AutoTune Q/DQ placement on ViT可能重新可做 @ajrasane 于 58 天前认领，目前没有进行中的 PR。 未关闭bug
NVIDIA/Model-Optimizer#2123 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Recommended FP8 recipe for Blackwell (B200)? Per-tensor `FP8_DEFAULT_CFG` underperforms BF16 at prefill; NVFP4 much faster. Also: exported FP8 checkpoint has no KV `q/k/v_scale`可能重新可做 @jenchen13 于 82 天前认领，目前没有进行中的 PR。 未关闭bug
NVIDIA/Model-Optimizer#2015 · 4 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
NVFP4 support for Qwen3_5MoeExperts (fused MoE): quantizer registration + export serializer可能重新可做 @meenchen 于 82 天前认领，目前没有进行中的 PR。 未关闭
NVIDIA/Model-Optimizer#2011 · 10 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
[QAD] Request for exact training configurations used in arXiv:2601.20088可能重新可做 @mxinO 于 84 天前认领，目前没有进行中的 PR。 未关闭
NVIDIA/Model-Optimizer#2002 · 5 条评论 · 已指派 2 人 ·
维护者通常 2 天内回复
-
Nvidia Modelopt structured 2:4 weight sparsity showing no speed improvement compared to dense model可能重新可做 @kaix-nv 于 92 天前认领，目前没有进行中的 PR。 未关闭bug
NVIDIA/Model-Optimizer#1974 · 6 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
NVIDIA/Model-Optimizer#1926 · 4 条评论 ·
维护者通常 2 天内回复
-
[Coverage] Direct unit-test suites for five untested core modules (conversion, core_utils, tensor_quantizer, model_calib, export/postprocess) — plus bugs found along the way可能重新可做 @kevalmorabia97 于 84 天前认领，目前没有进行中的 PR。 未关闭
NVIDIA/Model-Optimizer#1902 · 5 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
bug investigating torch.quantization
难度 4/5 3-5 天 新手友好度 55/100
NVIDIA/Model-Optimizer#1875 · 4 条评论 ·
维护者通常 2 天内回复
-
Support for INT4_AWQ quantization for Nemotron-3-Nano-30B-A3B可能重新可做 @jenchen13 于 82 天前认领，目前没有进行中的 PR。 未关闭bug fw-megatron torch.quantization
NVIDIA/Model-Optimizer#1865 · 4 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Do not getting access to Nemotron-Pretraining-SFT-v1 (needed for a mintron distillation tutorial)可能重新可做 @danielkorzekwa 于 84 天前认领，目前没有进行中的 PR。 未关闭investigating question
NVIDIA/Model-Optimizer#1852 · 5 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
[Puzzletron] Standalone export fails for heterogeneous distilled checkpoints可能重新可做 @kevalmorabia97 于 101 天前认领，目前没有进行中的 PR。 未关闭bug investigating torch.pruning
NVIDIA/Model-Optimizer#1848 · 4 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Nested Local Distillation for Puzzletron可能重新可做 @Separius 于 111 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1822 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Lazy Checkpoint Creation for Puzzletron可能重新可做 @Separius 于 111 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1821 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Improve Activation Scoring of Puzzletron可能重新可做 @Separius 于 111 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1820 · 已指派 1 人 ·
维护者通常 2 天内回复
-
distill.py fails with AttributeError: DistillQwen3VLModel has no attribute 'output_layer' when using Qwen3.5-0.8B as student/teacher可能重新可做 @kevalmorabia97 于 111 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1819 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
feature request
难度 4/5 3-5 天 新手友好度 45/100
NVIDIA/Model-Optimizer#1814 · 1 条评论 ·
维护者通常 2 天内回复
-
Currently no support for pruning Qwen3.5 and Qwen3.6 with Puzzletron可能重新可做 @j-rausch 于 112 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1813 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Clarify recommended QAD configs for full-quality recovery in diffusers examples可能重新可做 @ynankani 于 112 天前认领，目前没有进行中的 PR。 未关闭question windows
NVIDIA/Model-Optimizer#1812 · 5 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Create a claude tutorial for adding a new model to puzzletron (qwen 3.5)可能重新可做 @danielkorzekwa 于 115 天前认领，目前没有进行中的 PR。 未关闭feature request torch.pruning
NVIDIA/Model-Optimizer#1780 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Puzzletron OOM during step 6 (one-block scoring) for Qwen 3.5-2B VLM可能重新可做 @danielkorzekwa 于 115 天前认领，目前没有进行中的 PR。 未关闭bug
NVIDIA/Model-Optimizer#1779 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
bug
难度 5/5 一周以上 新手友好度 28/100
NVIDIA/Model-Optimizer#1772 · 1 条评论 ·
维护者通常 2 天内回复
-
Create a claude skill for puzzletron compression algorithm可能重新可做 @danielkorzekwa 于 119 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1762 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
难度 3/5 1-2 天 新手友好度 48/100
NVIDIA/Model-Optimizer#1732 · 2 条评论 ·
维护者通常 2 天内回复
-
难度 4/5 3-5 天 新手友好度 35/100
NVIDIA/Model-Optimizer#1723 ·
维护者通常 2 天内回复
-
feature request
难度 5/5 一周以上 新手友好度 25/100
NVIDIA/Model-Optimizer#1708 · 1 条评论 · 2 个 reaction ·
维护者通常 2 天内回复
-
[RFC] NVIDIA Model Optimizer — Product Roadmap可能重新可做 @Trenton-Starkey 于 123 天前认领，目前没有进行中的 PR。 未关闭roadmap
NVIDIA/Model-Optimizer#1699 · 4 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
bug
难度 5/5 一周以上 新手友好度 30/100
NVIDIA/Model-Optimizer#1668 · 1 条评论 ·
维护者通常 2 天内回复
-
Puzzletron Progress 6/8 (calculating one block scores) takes 10 to 20 times more than in tutorial可能重新可做 @tejasng053 于 18 天前认领，目前没有进行中的 PR。 未关闭bug
难度 2/5 1-3 小时 新手友好度 68/100
NVIDIA/Model-Optimizer#1667 ·
维护者通常 2 天内回复
-
Does Model Optimizer support QAT for GLM-5 with FP8, INT4, and NVFP4 quantization?可能重新可做 @kevalmorabia97 于 92 天前认领，目前没有进行中的 PR。 未关闭question
NVIDIA/Model-Optimizer#1666 · 6 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Puzzletron README initial setup fails with number of issues可能重新可做 @kevalmorabia97 于 130 天前认领，目前没有进行中的 PR。 未关闭bug documentation triaged
NVIDIA/Model-Optimizer#1637 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
[Bug] NVFP4 W4A4 export: per-block weight_scale contains NaN bytes from unclamped FP32 → FP8 E4M3 cast可能重新可做 @chadvoegele 于 130 天前认领，目前没有进行中的 PR。 未关闭auto-fixable bug torch.quantization triaged
NVIDIA/Model-Optimizer#1633 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
INT4 Quantization Export可能重新可做 @ajrasane 于 130 天前认领，目前没有进行中的 PR。 未关闭bug torch.quantization triaged
NVIDIA/Model-Optimizer#1615 · 2 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
bug
难度 4/5 3-5 天 新手友好度 55/100
NVIDIA/Model-Optimizer#1577 · 1 条评论 ·
维护者通常 2 天内回复
-
难度 3/5 1-2 天 新手友好度 45/100
NVIDIA/Model-Optimizer#1539 ·
维护者通常 2 天内回复
-
question
难度 5/5 一周以上 新手友好度 30/100
NVIDIA/Model-Optimizer#1533 ·
维护者通常 2 天内回复
-
NVFP4 ONNX export fails when rotate=True (FWHT trace + post-processor)可能重新可做 @ajrasane 于 155 天前认领，目前没有进行中的 PR。 未关闭bug feature onnx.quantization torch.quantization
NVIDIA/Model-Optimizer#1424 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Add VLM components to _default_disabled_quantizer_cfg?可能重新可做 @Edwardf0t1 于 160 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1396 · 3 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Do you have plans to support Qwen Image Edit?可能重新可做 @chadvoegele 于 168 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1366 · 已指派 1 人 ·
维护者通常 2 天内回复
-
[Feature Request] DeepSeek-V4-Flash & DeepSeek-V4-Pro NVFP4 checkpoint可能重新可做 @mxinO 于 170 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1346 · 1 条评论 · 1 个 reaction · 已指派 2 人 ·
维护者通常 2 天内回复
-
[Feature Request] Kimi-K2.6 NVFP4 checkpoint and corresponding EAGLE3 draft model for offline speculative decoding可能重新可做 @yeyu-nvidia 于 176 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1308 · 24 条评论 · 1 个 reaction · 已指派 2 人 ·
维护者通常 2 天内回复
-
Attention-only LoRA fine-tuning on NVFP4-quantized 122B MoE — community implementation + preprint可能重新可做 @ChenhanYu 于 177 天前认领，目前没有进行中的 PR。 未关闭question
NVIDIA/Model-Optimizer#1294 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
What’s the Correct Way to Quantize Qwen3.5 (MoE/Dense) to NVFP4?可能重新可做 @Edwardf0t1 于 181 天前认领，目前没有进行中的 PR。 未关闭question
NVIDIA/Model-Optimizer#1255 · 4 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
Pre-Quantized Checkpoints: Gemma 4 models可能重新可做 @yueshen2016 于 180 天前认领，目前没有进行中的 PR。 未关闭feature request
NVIDIA/Model-Optimizer#1237 · 2 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
只显示最新的 100 条
这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。