performance regression on Ring SP
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 55/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python, pytorch
Línea de trabajo
Start with diffsynth_engine/layers/attention/backends/sdpa.py around lines 99–113 and trace how Ring SP selects the SDPA backend. Reproduce the comparison with the provided Qwen Image 2512, GPU, and kernel benchmarks, then verify that the affected Ring SP/CP paths no longer incur the slower kernel without changing other backends.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Description
In v1 branch, deploying DiffSynth engine with 2 GPUs without NVLink and inferencing model Qwen Image 2512, ring SP2 is much slower than Ulysses SP2.
However, the total communication volume is identical for both strategies when using 2 GPUs while ring CP can overlap same comunication time spend with computation. Which means CP would be faster theoretically.
Reason Explanations
In v1 branch, when use ring sp (or cp) with sdpa, the attention backend would be chose as _scaled_dot_product_efficient_attention and this kernel is far slower than _scaled_dot_product_flash_attention. Other backends would not be influenced.
Detailed comparison
On 4 RTX Pro 5000 Blackwell, for one 1024x1024 picture with 5 steps, the benchmarks table can be concluded as below.
| kernels | Efficient/kernel | Torch Flash/kernel | FA4/kernel | FA4 vs Flash | Torch Flash/step | FA4/step |
|---|---|---|---|---|---|---|
| cp2cfg | 733.068 us | 287.672 us | 279.057 us | -2.99% | 276.576 ms | 275.910 ms |
| cp4 | 197.949 us | 78.009 us | 75.263 us | -3.52% | 442.760 ms | 425.265 ms |
As we can see, the Torch Flash kernel is much faster than Efficient kernel.
- Lenguaje dominante
- Python
- Estrellas
- 432
- Forks
- 51
- Merge medio
- 3 d 5 h
- PR fusionados (30 d)
- 1
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de modelscope/DiffSynth-Engine
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
modelscope/DiffSynth-Engine#238 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
modelscope/DiffSynth-Engine#235 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
modelscope/DiffSynth-Engine#224 · 2 comentarios ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 32/100
modelscope/DiffSynth-Engine#223 · 2 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100
modelscope/DiffSynth-Engine#221 ·
Todos los issues de modelscope/DiffSynth-Engine
Issues similares
-
[Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell Abiertoarea: harness bug status: needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Human-Agent-Society/reef#625 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 80/100
learningequality/kolibri#15351 · 2 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Name consistency Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
eellak/triplestore#65 · 1 comentario ·