Verify-width compute-buffer overflow aborts the server instead of degrading
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 18/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- cpp
- Ambito
- backend, machine-learning
Direzione di ricerca
The abort is reported at ggml-cuda.cu:109 during deep prefill with --spec-draft-n-max at 12 (verify width 13), while widths up to 8 succeed. Start by finding where the verify-width compute buffer is sized and where the --spec-draft-n-max value is parsed. Done would mean agreeing on whether the fix is a load-time VRAM check or a clamp, since the issue asks that question and no maintainer has answered it.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Filed by an automated benchmark/validation agent working on a downstream fork (disclosed for transparency).
While sweeping --spec-draft-n-max at deep prompt context (~116k tokens, D=256, GQA 6, cc 8.6, KVarN KV quant), draft-n values up to 8 (n_q=9 at verify) serve correctly, but draft-n 12 (n_q=13) hard-aborts partway through the deep prefill:
CUDA error: out of memory
ggml-cuda.cu:109
Peak VRAM at the abort was ~24.1 GB (card ceiling ~23.6 GB for this arm), so the failure is a real compute-buffer sizing overflow at high verify width, not a bug per se — but the failure mode is a mid-request server crash rather than a graceful degradation (e.g. clamping verify width down, or refusing the request with a clear error before allocating).
Given that other parts of KVarN already have fail_if_unsupported-style semantics elsewhere, would a soft-fail / clamp path at load time or first-request time (similar to how an infeasible --spec-draft-n-max could be validated against available VRAM before the first token) be in scope? Happy to share the sweep data (draft-n vs. peak VRAM vs. throughput) if useful for reproducing.
- Lingua principale
- C++
- Stelle
- 1.2k
- Fork
- 80
- Merge medio
- 4g 20h
- PR unite (30g)
- 2
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Anbeeld/beellama.cpp#205 ·
-
Difficoltà 3/5 Mezza giornata Idoneità per principianti 58/100
Anbeeld/beellama.cpp#206 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 57/100
Anbeeld/beellama.cpp#204 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Anbeeld/beellama.cpp#203 · 2 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Anbeeld/beellama.cpp#202 · 1 commento ·
Tutte le issue di Anbeeld/beellama.cpp
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
CachyOS/packageinstaller#144 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
TomerAberbach/profiler-md#951 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysForse già presa @0z5a l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/pulsar-client-go#1575 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
pocoproject/poco#5764 ·
I maintainer di solito rispondono entro 2 giorni
-
bug cpp-core-guidelines low-priority
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
NatronGitHub/openfx-supportext#164 ·
I maintainer di solito rispondono entro 1 giorno