Verify-width compute-buffer overflow aborts the server instead of degrading

Aperta
#133 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
18/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
cpp

Direzione di ricerca

The abort is reported at ggml-cuda.cu:109 during deep prefill with --spec-draft-n-max at 12 (verify width 13), while widths up to 8 succeed. Start by finding where the verify-width compute buffer is sized and where the --spec-draft-n-max value is parsed. Done would mean agreeing on whether the fix is a load-time VRAM check or a clamp, since the issue asks that question and no maintainer has answered it.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Filed by an automated benchmark/validation agent working on a downstream fork (disclosed for transparency).

While sweeping --spec-draft-n-max at deep prompt context (~116k tokens, D=256, GQA 6, cc 8.6, KVarN KV quant), draft-n values up to 8 (n_q=9 at verify) serve correctly, but draft-n 12 (n_q=13) hard-aborts partway through the deep prefill:

CUDA error: out of memory
  ggml-cuda.cu:109

Peak VRAM at the abort was ~24.1 GB (card ceiling ~23.6 GB for this arm), so the failure is a real compute-buffer sizing overflow at high verify width, not a bug per se — but the failure mode is a mid-request server crash rather than a graceful degradation (e.g. clamping verify width down, or refusing the request with a clear error before allocating).

Given that other parts of KVarN already have fail_if_unsupported-style semantics elsewhere, would a soft-fail / clamp path at load time or first-request time (similar to how an infeasible --spec-draft-n-max could be validated against available VRAM before the first token) be in scope? Happy to share the sweep data (draft-n vs. peak VRAM vs. throughput) if useful for reproducing.

Lingua principale
C++
Stelle
1.2k
Fork
80
Merge medio
4g 20h
PR unite (30g)
2

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Anbeeld/beellama.cpp

Tutte le issue di Anbeeld/beellama.cpp

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.