test(BACKEND-GATE-ROCM-SGLANG): calibrate a Qwen3-4B correctness proposal
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 28/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- cpp
- Ambito
- backend, machine-learning, testing-qa
Direzione di ricerca
Inizia da .agents/specs/strix-qwen3-4b-distributional-calibration.md, quindi ispeziona il callback pubblico dei logits in Ours6e3cbfb e le interfacce denominate LogitsProcessor della versione bloccata di vLLM. Verifica questi percorsi con il runner di produzione della campagna e i grafici prima di implementare diagnostiche test-first. Il lavoro è completato quando sono stati esaminati la cattura vincolata alla sorgente, i controlli delle mutazioni, le prove di calibrazione basate esclusivamente sull’oracolo e una proposta scritta per dati held-out, senza modificare il gate rigoroso.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Row: BACKEND-GATE-ROCM-SGLANG
Owner: current Strix campaign operator. Parent: #3053. Spec: .agents/specs/strix-qwen3-4b-distributional-calibration.md (commit before implementation).
Pinned production vLLMe126687a9a828d513c01a07cd69f025f27d63280 showed repeated greedy token differences on Qwen3-4B BF16 at c1 and c4. Qualification802b32c9, result SHA1d518a475a79947d9921be92e9893ed74a4831359063284524b3c32a0db4f400, remains NOT_ACCEPTED. User approved scoping a distributional correctness proposal, not numerical tolerances or replacement of the strict gate.
Implement reviewed diagnostic score capture through public incremental generation, not whole-prefix prefill scoring labeled as decode. Ours6e3cbfb exposes a public logits callback; pinned vLLM exposes named importable LogitsProcessor classes, JSON-compatible extra_args and full-vocabulary sample logprobs. Verify these routes execute with the campaign production runner/graphs before calibration. No serialized callables or eager correctness/performance substitution. Compare original prompts plus identical consumed continuation prefixes; capture scores before any forcing. Record actual scheduler shapes and instrumentation equivalence, not requested concurrency alone.
Predeclare oracle-only calibration and held-out validation before viewing candidate scores. Separate c1/c4 and first-prefill/incremental phases. Proposed thresholds, sample counts and statistical rule require subsequent explicit ratification. Existing CUDA/27B/quantized tolerances are not transferable. Stable oracle behavior remains token-exact. Enforce hard failures for prefix/tokenizer/dtype/model changes, nonfinite/missing scores, wrong execution phase, swapped rows, post-forcing capture and skipped callbacks; include corruption controls. A forced output match is not a correctness pass.
Acceptance: source-bound diagnostic design, test-first implementation, independent mutation review, operator leased equivalence and oracle-only evidence, and a written proposed gate with held-out results. This issue does not itself authorize adoption of a tolerance or acceptance of speed. Stop if instrumentation changes the relevant numerical path or production capture cannot be established; name the exact unresolved interface.
- Lingua principale
- C++
- Stelle
- 423
- Fork
- 53
- Merge medio
- 1g 4h
- PR unite (30g)
- 366
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di mudler/vllm.cpp
-
[Windows] full build fails in tools/bench/conv1d_scaling_probe.cpp (POSIX-only sys/resource.h)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di mudler/vllm.cpp
Issue simili
-
Broken links in the docsAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
microsoft/onnxruntime#33018 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
DataLakeFileSystemClient::ListPaths() throws JSON exception due to accessing undefined fieldsApertacustomer-reported needs-triage question
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
Azure/azure-sdk-for-cpp#7435 ·
I maintainer di solito rispondono entro 1 giorno
-
ChromieCraft Generic Confirmed World Event
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
azerothcore/azerothcore-wotlk#27882 ·
I maintainer di solito rispondono entro 1 giorno
-
MacOS build failureApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
aristocratos/btop#1874 ·
I maintainer di solito rispondono entro 1 giorno