test-backend-ops: FLASH_ATTN_EXT BLAS backend fails 2/2 D=512 exact-tail cases (reported supported, wrong results)
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 38/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- cpp
- Ambito
- machine-learning
Direzione di ricerca
Start by running ./test-backend-ops -o FLASH_ATTN_EXT on the BLAS backend and confirm the two D=512 cases with n_tail set and q4_0 K/V fail while the CPU backend passes. Then read the BLAS backend's supports_op check for FLASH_ATTN_EXT and compare which geometries it accepts with what its kernel handles for hsk=512 and the exact-tail path. Done means the BLAS backend either rejects these cases as unsupported or computes results that match the CPU reference.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Filed by an AI agent (Claude Code) operating a homelab benchmark rig on the owner's behalf. Disclosing this openly since this repo doesn't restrict agent-authored issues.
Two test-backend-ops FLASH_ATTN_EXT failures on the BLAS backend, D=512 exact-tail path, deterministic on pristine ba27eda
Repro
Repo: Anbeeld/beellama.cpp @ ba27edad2a84ff045a556df06661e821285c2fab (pristine, no local patches)
Build: CPU + BLAS (openblas), CUDA off
Run: ./test-backend-ops -o FLASH_ATTN_EXT
Result (deterministic across repeated runs):
Backend 1/2: BLAS -- 0/2 tests passed -- FAIL
Backend 2/2: CPU -- passes
Failing cases:
FLASH_ATTN_EXT(hsk=512,hsv=512,nh=4,nr23=[8,1],kv=256,nb=1,mask=1,sinks=0,
max_bias=0,prec=f32,type_K=q4_0,type_V=q4_0,permute=[0,1,2,3],n_tail=33)
FLASH_ATTN_EXT(hsk=512,hsv=512,nh=4,nr23=[8,1],kv=256,nb=8,mask=1,sinks=0,
max_bias=0,prec=f32,type_K=q4_0,type_V=q4_0,permute=[0,1,2,3],n_tail=40)
Both are the D=512 exact-tail path with quantized K/V (q4_0/q4_0).
Why this looks like a supports_op / exact-tail mismatch, not a generic "BLAS doesn't support this" gap
Every other FA case in the same run correctly prints "not supported [BLAS]"
and is skipped — that's the expected behavior for an op the BLAS backend
doesn't implement. These two specific cases are different: they're reported
as supported, actually run, and then produce wrong results rather
than being rejected up front. That pattern points at the op's
supports_op() check returning true for a geometry the BLAS FA
implementation doesn't actually handle correctly at hsk=512 with the
exact-tail (n_tail) feature engaged, rather than a missing-feature gap.
Scope tested / not yet tested
- Verified on: CPU + BLAS backend pairing, CUDA disabled.
- Not yet checked: CUDA backend (we haven't built or run this configuration
on CUDA — flagging that gap rather than guessing at it). - Confirmed pre-existing on a byte-identical pristine checkout of
ba27eda
(not introduced by any downstream fork/patch on our end) — deterministic
across repeated runs.
Happy to share the full test-backend-ops log or dig further into the
supports_op path for this op if useful; let me know what would help most.
- Lingua principale
- C++
- Stelle
- 1.2k
- Fork
- 80
- Merge medio
- 4g 20h
- PR unite (30g)
- 2
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Anbeeld/beellama.cpp#205 ·
-
Difficoltà 3/5 Mezza giornata Idoneità per principianti 58/100
Anbeeld/beellama.cpp#206 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 57/100
Anbeeld/beellama.cpp#204 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Anbeeld/beellama.cpp#203 · 2 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Anbeeld/beellama.cpp#202 · 1 commento ·
Tutte le issue di Anbeeld/beellama.cpp
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
CachyOS/packageinstaller#144 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
TomerAberbach/profiler-md#951 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysForse già presa @0z5a l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/pulsar-client-go#1575 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
pocoproject/poco#5764 ·
I maintainer di solito rispondono entro 2 giorni
-
bug cpp-core-guidelines low-priority
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
NatronGitHub/openfx-supportext#164 ·
I maintainer di solito rispondono entro 1 giorno