[PyTorch] Integrate cuDNN Qwen Sparse Attention (QSA) backend for Qwen3.8-Flash-Next
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Ambito
- backend, machine-learning
Direzione di ricerca
Start by reading the PyTorch attention frontend, especially DotProductAttention, and the related request #3028; the issue does not name implementation files or tests. Then review the linked cuDNN frontend support and Qwen QSA block-selection and causal-tail requirements. Done means a reusable cuDNN-backed QSA path is integrated into the PyTorch frontend and validated for the described semantics.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Is your feature request related to a problem? Please describe.
TE needs a reusable Qwen Sparse Attention (QSA) path for models such as Qwen3.8-Flash-Next, which combines Gated DeltaNet with QSA.
QSA uses query-dependent selection of key/value micro-blocks with causal tail handling.
This request is related to #3028, but specifically targets QSA's block-selection semantics and the cuDNN QSA backend.
Describe the solution you'd like
Add a cuDNN-backed QSA path to the PyTorch attention frontend, preferably through DotProductAttention or an appropriate reusable attention API.
Describe alternatives you've considered
Integrating cuDNN QSA separately in Megatron or other training frameworks. This duplicates backend integration and validation work and does not provide a common solution for customers outside Megatron.
Additional context
- Target model: https://huggingface.co/Qwen/Qwen3.8-Flash-Next
- cuDNN frontend support: https://github.com/NVIDIA/cudnn-frontend/pull/1781
- Related TE request: #3028
- Megatron QSA training tracking: https://github.com/NVIDIA/Megatron-LM/issues/7060
- Lingua principale
- Python
- Stelle
- 3.6k
- Fork
- 872
- Merge medio
- 4g 5h
- PR unite (30g)
- 62
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di NVIDIA/TransformerEngine
-
[PyTorch] fp8_cs_quantize fake implementation returns a vector inverse scale instead of a scalarForse di nuovo libera @sanjana658 l’ha presa 19 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
NVIDIA/TransformerEngine#3636 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
[Bug] Backend selection picks FA3 for training with head_dim_qk=192 / v_head_dim=128, but FA3 backward cannot run itForse di nuovo libera @modelpath-dev l’ha presa 53 giorni fa e non c’è nessuna pull request aperta. Apertaattention
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
NVIDIA/TransformerEngine#3481 · 4 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Increase MAX_TENSOR_NUMApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
NVIDIA/TransformerEngine#2189 · 7 commenti · 5 reazioni ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
NVIDIA/TransformerEngine#3742 ·
I maintainer di solito rispondono entro 2 giorni
-
[PyTorch] LayerNormLinear drops gradients from gathered LayerNorm output under TP/SPForse già presa @ksivaman l’ha presa 1 giorno fa. Aperta
NVIDIA/TransformerEngine#3741 · 1 assegnatario ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di NVIDIA/TransformerEngine
Issue simili
-
bug P1
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
Toloka/tolokaforge#1947 ·
I maintainer di solito rispondono entro 1 giorno
-
SageMaker provider: streaming fails with NoStreamDataError on DJL Serving (LMI) endpointsForse già presa @balajiaru l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
UKGovernmentBEIS/inspect_ai#6127 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
pydot/pydot#601 · 4 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
letsencrypt/cp-cps#361 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100