Can `auto_quant` calculate the score for `kv-cache` separately?

I maintainer di solito rispondono entro 2 giorni

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

        # Disable KV Cache quantization
        # Currently KV Cache quantization is enabled for some quantization formats and disabled for others
        # This breaks the monotonicity of the quantization formats in terms of weight compression Vs accuracy

Preparare l'ambiente

Come iniziare

1. Leggi tutta la issue e poi la guida ai contributi del progetto.
2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
3. Fai un fork del repository e lavora su un branch.
4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di NVIDIA/Model-Optimizer

• [Bug] modelopt-mcp: all launcher subprocesses hang when the server runs as a stdio MCP server — missing stdin=DEVNULL

  Forse già presa @ChenhanYu l’ha presa 12 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100

  NVIDIA/Model-Optimizer#2551 · 1 commento · 1 assegnatario · Aperta il 26/9/2026

  I maintainer di solito rispondono entro 2 giorni

• Puzzletron Progress 6/8 (calculating one block scores) takes 10 to 20 times more than in tutorial

  Forse di nuovo libera @tejasng053 l’ha presa 18 giorni fa e non c’è nessuna pull request aperta. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

  NVIDIA/Model-Optimizer#1667 · Aperta il 10/6/2026

  I maintainer di solito rispondono entro 2 giorni

• test_cast_fp4_impl_gpu_mem is flaky on Jetson Thor: mem_get_info reports system-wide memory on integrated GPUs

  Forse già presa @LinCanNerd l’ha presa 6 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100

  NVIDIA/Model-Optimizer#2706 · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 2 giorni

• test_cuda_pack_reconstruction_matches_pytorch_at_scale[iq1_m] fails on Jetson Thor: exact ties exceed the blocks // 1000 bound

  Forse già presa @LinCanNerd l’ha presa 6 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

  NVIDIA/Model-Optimizer#2705 · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 2 giorni

• Support activation-only scale search for PyTorch AWQ calibration

  Forse già presa @meenchen l’ha presa 8 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  NVIDIA/Model-Optimizer#2674 · 1 assegnatario · Aperta il 6/10/2026

  I maintainer di solito rispondono entro 2 giorni

Tutte le issue di NVIDIA/Model-Optimizer

Issue simili

• 📚 `ubquery.py` says `eval` resolves names eagerly; measured, it short-circuits exactly like the fast path

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  documentation pkg: sphinx-needs

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100

  useblocks/sphinx-needs#2255 · Aperta il 14/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Translation - Error rendering data template

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 60/100

  home-assistant/core#186538 · Aperta il 14/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Set cache-mode: none on the review call and delete actionlint.yaml

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

  btclib-org/btclib-secp256k1#1181 · Aperta il 14/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Install error in windows: override ExecutionPolicy

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100

  calkit/calkit#1835 · Aperta il 14/10/2026

  I maintainer di solito rispondono entro 1 giorno

• `pyrite search --mode` silently falls back to keyword for unknown modes

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  pyrite-wiki/pyrite#917 · Aperta il 14/10/2026

  I maintainer di solito rispondono entro 1 giorno

Altre issue su Python