[PyTorch] Integrate cuDNN Qwen Sparse Attention (QSA) backend for Qwen3.8-Flash-Next
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Área
- backend, machine-learning
Línea de trabajo
Start by reading the PyTorch attention frontend, especially DotProductAttention, and the related request #3028; the issue does not name implementation files or tests. Then review the linked cuDNN frontend support and Qwen QSA block-selection and causal-tail requirements. Done means a reusable cuDNN-backed QSA path is integrated into the PyTorch frontend and validated for the described semantics.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Is your feature request related to a problem? Please describe.
TE needs a reusable Qwen Sparse Attention (QSA) path for models such as Qwen3.8-Flash-Next, which combines Gated DeltaNet with QSA.
QSA uses query-dependent selection of key/value micro-blocks with causal tail handling.
This request is related to #3028, but specifically targets QSA's block-selection semantics and the cuDNN QSA backend.
Describe the solution you'd like
Add a cuDNN-backed QSA path to the PyTorch attention frontend, preferably through DotProductAttention or an appropriate reusable attention API.
Describe alternatives you've considered
Integrating cuDNN QSA separately in Megatron or other training frameworks. This duplicates backend integration and validation work and does not provide a common solution for customers outside Megatron.
Additional context
- Target model: https://huggingface.co/Qwen/Qwen3.8-Flash-Next
- cuDNN frontend support: https://github.com/NVIDIA/cudnn-frontend/pull/1781
- Related TE request: #3028
- Megatron QSA training tracking: https://github.com/NVIDIA/Megatron-LM/issues/7060
- Lenguaje dominante
- Python
- Estrellas
- 3.6k
- Forks
- 872
- Merge medio
- 4 d 11 h
- PR fusionados (30 d)
- 59
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de NVIDIA/TransformerEngine
-
[PyTorch] fp8_cs_quantize fake implementation returns a vector inverse scale instead of a scalarQuizá libre de nuevo @sanjana658 la tomó hace 14 días y no hay ningún pull request abierto. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
NVIDIA/TransformerEngine#3636 · 2 comentarios ·
Los mantenedores suelen responder en 2 días
-
[Bug] Backend selection picks FA3 for training with head_dim_qk=192 / v_head_dim=128, but FA3 backward cannot run itQuizá libre de nuevo @modelpath-dev la tomó hace 48 días y no hay ningún pull request abierto. Abiertoattention
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
NVIDIA/TransformerEngine#3481 · 4 comentarios ·
Los mantenedores suelen responder en 2 días
-
Increase MAX_TENSOR_NUMAbiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
NVIDIA/TransformerEngine#2189 · 7 comentarios · 5 reacciones ·
Los mantenedores suelen responder en 2 días
-
[Feature] Fused gated RMSNorm (RMSNorm(x) * SiLU(gate)) for GDN output normPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abiertoenhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
NVIDIA/TransformerEngine#3724 · 1 reacción ·
Los mantenedores suelen responder en 2 días
-
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
NVIDIA/TransformerEngine#3720 ·
Los mantenedores suelen responder en 2 días
Todos los issues de NVIDIA/TransformerEngine
Issues similares
-
[oblt-aw][autodoc] Update workflow docs for gh-aw v0.92.5 and detector permission scopePosiblemente ocupada @github-actions la tomó hoy. Abierto
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
feat(ide): VS Code access through the shipped MCP server (config doc and tool-list smoke test)Abiertoroadmap-100
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
comp/tools P2 tool/browser tool/file type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
NousResearch/hermes-agent#143418 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
python-hyper/uritemplate#164 ·