[Engine] qsa_rows_bench: --ctx below 32768 makes the dense step read outside the page table (Xid 31)

Aperta Adatta ai principianti
#6,209 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 5 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
75/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
cpp
Ambito
testing

Direzione di ricerca

Leggi src/kernels/qsa_rows_bench.cpp intorno alle righe 138 e 207 per ricostruire come vengono create la larghezza della finestra densa e gli ID delle celle. Riproduci il problema con qsa_rows_bench --rows --iters 100 --ctx 16384 --max-context 262144; verifica che la correzione mantenga il passo denso entro il contesto e che l’esecuzione a 16K termini senza accessi illegali alla memoria.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Problem. qsa_rows_bench with a context under 32768 cells faults on the GPU. The dense step's window is fixed at
32768 cells, so at a shorter context its cell ids start below 0, and nothing bounds them.

Repro (RTX 5080, sm_120, driver 615.71.09, CUDA 13.3, Release build of the qsa_rows_bench target; the bench file is
identical to main):

qsa_rows_bench --rows --iters 100 --ctx 16384 --max-context 262144

Output, exit code 2:

qsa_rows_bench on device 0 (NVIDIA GeForce RTX 5080, 12.0), 100 iterations: context 16384, capacity 262144 cells (max_blocks 65538), selection cap 2051, int8 pools over 16452 cells
  selections: width 2051 a row; union of 2 rows 2360 cells (1.15x one row) union of 3 rows 2541 cells (1.24x one row) union of 4 rows 2608 cells (1.27x one row)
qsa_rows_bench: warm: an illegal memory access was encountered

Kernel log at the same moment:

NVRM: Xid (PCI:0000:01:00): 31, name=qsa_rows_bench, intr 00000000. MMU Fault: ENGINE GRAPHICS GPC6 GPCCLIENT_T1_5 faulted @ 0x220_cddf1000. Fault is of type FAULT_PDE ACCESS_TYPE_VIRT_READ

Cause (unconfirmed static analysis):

  • src/kernels/qsa_rows_bench.cpp:207 fills the dense window's ids as ctx + t + 1 - dense_win + j, with
    dense_win = 32768 (line 138).
  • At --ctx 16384 the first 16383 ids of each row are negative.
  • The batched decode attention reads p.page_table[cell / page_size] (src/kernels/cuda/qsa_decode_attn.cu:206, and
    418 and 618 in the other variants) with no lower bound, so the read lands before the page table.
  • The engine never passes negative ids, so the kernel itself is fine. The missing bounds check is in the bench.
  • The default --ctx 131072 and any context of 32768 or more stay in range.

Suggested fix: clamp the dense window to the context (min(dense_win, ctx + t + 1) cells a row, with the step
record's width to match), or skip the dense step when ctx + 1 < dense_win.

Validation:

  • Run: the 16K case above, once (it faulted).
  • Not run: 64K / 131K / 200K, --no-dense at 16K, and any fix. We will not run the bench again until it is fixed.

Measured and drafted with Claude Code.

Lingua principale
C++
Stelle
11.6k
Fork
1k
Merge medio
18g 13h
PR unite (30g)
4

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Niko1221/Strata

Tutte le issue di Niko1221/Strata

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.