NVIDIA/Model-Optimizer
A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
NVIDIA/Model-Optimizer 對新手友好嗎？
近 30 天，NVIDIA/Model-Optimizer 合併了外部貢獻者提交的 254 個 PR 中的 100 個，維護者通常 2 天內回覆。 目前有 2 個適合新手的 issue 開放。
- 星號
- 5.2k
- 分支
- 736
- 開放的新手 issue
- 2
- 已索引 issue
- 106
- 平均合併
- 3 天 14 小時
- 30 天內合併 PR
- 160
如何為 NVIDIA/Model-Optimizer 做貢獻
可能已有人在做的 issue 排在最後。 全部依時間排序
-
難度 1/5 1 小時以內 新手友好度 1/100
NVIDIA/Model-Optimizer#2481 ·
維護者通常 2 天內回覆
-
calling mtq.quantize causes AttributeError: 'tuple' object has no attribute 'dim'可能重新可做 @jingyu-ml 於 28 天前認領，目前沒有進行中的 PR。 未關閉question
NVIDIA/Model-Optimizer#2424 · 2 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
hf_ptq.py: deprecated --auto_quantize_bits CLI flag silently no-ops instead of enabling AutoQuantize可能重新可做 @meenchen 於 51 天前認領，目前沒有進行中的 PR。 未關閉
NVIDIA/Model-Optimizer#2230 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
feature request
難度 4/5 3-5 天 新手友好度 48/100
NVIDIA/Model-Optimizer#2220 · 2 則留言 ·
維護者通常 2 天內回覆
-
[Bug] init_quantized_weights / --low_memory_mode exports numerically broken NVFP4 (quantizes meta tensors before weights load)可能重新可做 @cjluo-nv 於 58 天前認領，目前沒有進行中的 PR。 未關閉
NVIDIA/Model-Optimizer#2160 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Can `auto_quant` calculate the score for `kv-cache` separately?可能重新可做 @meenchen 於 58 天前認領，目前沒有進行中的 PR。 未關閉question
NVIDIA/Model-Optimizer#2158 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Support MiniMax-H3 Visual VAE quantization in ModelOpt可能重新可做 @cjluo-nv 於 58 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#2137 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
# [ONNX][Autotune] Integrated quantization does not preserve AutoTune Q/DQ placement on ViT可能重新可做 @ajrasane 於 58 天前認領，目前沒有進行中的 PR。 未關閉bug
NVIDIA/Model-Optimizer#2123 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Recommended FP8 recipe for Blackwell (B200)? Per-tensor `FP8_DEFAULT_CFG` underperforms BF16 at prefill; NVFP4 much faster. Also: exported FP8 checkpoint has no KV `q/k/v_scale`可能重新可做 @jenchen13 於 82 天前認領，目前沒有進行中的 PR。 未關閉bug
NVIDIA/Model-Optimizer#2015 · 4 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
NVFP4 support for Qwen3_5MoeExperts (fused MoE): quantizer registration + export serializer可能重新可做 @meenchen 於 83 天前認領，目前沒有進行中的 PR。 未關閉
NVIDIA/Model-Optimizer#2011 · 10 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
[QAD] Request for exact training configurations used in arXiv:2601.20088可能重新可做 @mxinO 於 84 天前認領，目前沒有進行中的 PR。 未關閉
NVIDIA/Model-Optimizer#2002 · 5 則留言 · 已指派 2 人 ·
維護者通常 2 天內回覆
-
Nvidia Modelopt structured 2:4 weight sparsity showing no speed improvement compared to dense model可能重新可做 @kaix-nv 於 92 天前認領，目前沒有進行中的 PR。 未關閉bug
NVIDIA/Model-Optimizer#1974 · 6 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
難度 5/5 一週以上 新手友好度 35/100
NVIDIA/Model-Optimizer#1926 · 4 則留言 ·
維護者通常 2 天內回覆
-
[Coverage] Direct unit-test suites for five untested core modules (conversion, core_utils, tensor_quantizer, model_calib, export/postprocess) — plus bugs found along the way可能重新可做 @kevalmorabia97 於 85 天前認領，目前沒有進行中的 PR。 未關閉
NVIDIA/Model-Optimizer#1902 · 5 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
bug investigating torch.quantization
難度 4/5 3-5 天 新手友好度 55/100
NVIDIA/Model-Optimizer#1875 · 4 則留言 ·
維護者通常 2 天內回覆
-
Support for INT4_AWQ quantization for Nemotron-3-Nano-30B-A3B可能重新可做 @jenchen13 於 82 天前認領，目前沒有進行中的 PR。 未關閉bug fw-megatron torch.quantization
NVIDIA/Model-Optimizer#1865 · 4 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Do not getting access to Nemotron-Pretraining-SFT-v1 (needed for a mintron distillation tutorial)可能重新可做 @danielkorzekwa 於 84 天前認領，目前沒有進行中的 PR。 未關閉investigating question
NVIDIA/Model-Optimizer#1852 · 5 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
[Puzzletron] Standalone export fails for heterogeneous distilled checkpoints可能重新可做 @kevalmorabia97 於 101 天前認領，目前沒有進行中的 PR。 未關閉bug investigating torch.pruning
NVIDIA/Model-Optimizer#1848 · 4 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Nested Local Distillation for Puzzletron可能重新可做 @Separius 於 111 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1822 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Lazy Checkpoint Creation for Puzzletron可能重新可做 @Separius 於 111 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1821 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Improve Activation Scoring of Puzzletron可能重新可做 @Separius 於 111 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1820 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
distill.py fails with AttributeError: DistillQwen3VLModel has no attribute 'output_layer' when using Qwen3.5-0.8B as student/teacher可能重新可做 @kevalmorabia97 於 111 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1819 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
feature request
難度 4/5 3-5 天 新手友好度 45/100
NVIDIA/Model-Optimizer#1814 · 1 則留言 ·
維護者通常 2 天內回覆
-
Currently no support for pruning Qwen3.5 and Qwen3.6 with Puzzletron可能重新可做 @j-rausch 於 112 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1813 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Clarify recommended QAD configs for full-quality recovery in diffusers examples可能重新可做 @ynankani 於 112 天前認領，目前沒有進行中的 PR。 未關閉question windows
NVIDIA/Model-Optimizer#1812 · 5 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Create a claude tutorial for adding a new model to puzzletron (qwen 3.5)可能重新可做 @danielkorzekwa 於 115 天前認領，目前沒有進行中的 PR。 未關閉feature request torch.pruning
NVIDIA/Model-Optimizer#1780 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Puzzletron OOM during step 6 (one-block scoring) for Qwen 3.5-2B VLM可能重新可做 @danielkorzekwa 於 115 天前認領，目前沒有進行中的 PR。 未關閉bug
NVIDIA/Model-Optimizer#1779 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
bug
難度 5/5 一週以上 新手友好度 28/100
NVIDIA/Model-Optimizer#1772 · 1 則留言 ·
維護者通常 2 天內回覆
-
Create a claude skill for puzzletron compression algorithm可能重新可做 @danielkorzekwa 於 119 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1762 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
難度 3/5 1-2 天 新手友好度 48/100
NVIDIA/Model-Optimizer#1732 · 2 則留言 ·
維護者通常 2 天內回覆
-
難度 4/5 3-5 天 新手友好度 35/100
NVIDIA/Model-Optimizer#1723 ·
維護者通常 2 天內回覆
-
feature request
難度 5/5 一週以上 新手友好度 25/100
NVIDIA/Model-Optimizer#1708 · 1 則留言 · 2 個 reaction ·
維護者通常 2 天內回覆
-
[RFC] NVIDIA Model Optimizer — Product Roadmap可能重新可做 @Trenton-Starkey 於 123 天前認領，目前沒有進行中的 PR。 未關閉roadmap
NVIDIA/Model-Optimizer#1699 · 4 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
bug
難度 5/5 一週以上 新手友好度 30/100
NVIDIA/Model-Optimizer#1668 · 1 則留言 ·
維護者通常 2 天內回覆
-
Puzzletron Progress 6/8 (calculating one block scores) takes 10 to 20 times more than in tutorial可能重新可做 @tejasng053 於 18 天前認領，目前沒有進行中的 PR。 未關閉bug
難度 2/5 1-3 小時 新手友好度 68/100
NVIDIA/Model-Optimizer#1667 ·
維護者通常 2 天內回覆
-
Does Model Optimizer support QAT for GLM-5 with FP8, INT4, and NVFP4 quantization?可能重新可做 @kevalmorabia97 於 92 天前認領，目前沒有進行中的 PR。 未關閉question
NVIDIA/Model-Optimizer#1666 · 6 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Puzzletron README initial setup fails with number of issues可能重新可做 @kevalmorabia97 於 131 天前認領，目前沒有進行中的 PR。 未關閉bug documentation triaged
NVIDIA/Model-Optimizer#1637 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
[Bug] NVFP4 W4A4 export: per-block weight_scale contains NaN bytes from unclamped FP32 → FP8 E4M3 cast可能重新可做 @chadvoegele 於 131 天前認領，目前沒有進行中的 PR。 未關閉auto-fixable bug torch.quantization triaged
NVIDIA/Model-Optimizer#1633 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
INT4 Quantization Export可能重新可做 @ajrasane 於 131 天前認領，目前沒有進行中的 PR。 未關閉bug torch.quantization triaged
NVIDIA/Model-Optimizer#1615 · 2 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
bug
難度 4/5 3-5 天 新手友好度 55/100
NVIDIA/Model-Optimizer#1577 · 1 則留言 ·
維護者通常 2 天內回覆
-
難度 3/5 1-2 天 新手友好度 45/100
NVIDIA/Model-Optimizer#1539 ·
維護者通常 2 天內回覆
-
question
難度 5/5 一週以上 新手友好度 30/100
NVIDIA/Model-Optimizer#1533 ·
維護者通常 2 天內回覆
-
NVFP4 ONNX export fails when rotate=True (FWHT trace + post-processor)可能重新可做 @ajrasane 於 155 天前認領，目前沒有進行中的 PR。 未關閉bug feature onnx.quantization torch.quantization
NVIDIA/Model-Optimizer#1424 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Add VLM components to _default_disabled_quantizer_cfg?可能重新可做 @Edwardf0t1 於 160 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1396 · 3 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Do you have plans to support Qwen Image Edit?可能重新可做 @chadvoegele 於 168 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1366 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
[Feature Request] DeepSeek-V4-Flash & DeepSeek-V4-Pro NVFP4 checkpoint可能重新可做 @mxinO 於 170 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1346 · 1 則留言 · 1 個 reaction · 已指派 2 人 ·
維護者通常 2 天內回覆
-
[Feature Request] Kimi-K2.6 NVFP4 checkpoint and corresponding EAGLE3 draft model for offline speculative decoding可能重新可做 @yeyu-nvidia 於 176 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1308 · 24 則留言 · 1 個 reaction · 已指派 2 人 ·
維護者通常 2 天內回覆
-
Attention-only LoRA fine-tuning on NVFP4-quantized 122B MoE — community implementation + preprint可能重新可做 @ChenhanYu 於 177 天前認領，目前沒有進行中的 PR。 未關閉question
NVIDIA/Model-Optimizer#1294 · 1 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
What’s the Correct Way to Quantize Qwen3.5 (MoE/Dense) to NVFP4?可能重新可做 @Edwardf0t1 於 181 天前認領，目前沒有進行中的 PR。 未關閉question
NVIDIA/Model-Optimizer#1255 · 4 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
-
Pre-Quantized Checkpoints: Gemma 4 models可能重新可做 @yueshen2016 於 181 天前認領，目前沒有進行中的 PR。 未關閉feature request
NVIDIA/Model-Optimizer#1237 · 2 則留言 · 已指派 1 人 ·
維護者通常 2 天內回覆
只顯示最新的 100 筆
這個頁面只列出最近收錄的部分。完整清單在進階篩選裡，可以依語言、難度和預計耗時篩選。