all_reduce: every iris.store passes a vectorization hint, none of the iris.load calls do
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- Medio día
- Aptitud para principiantes
- 62/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- python
Línea de trabajo
Start with iris/ccl/triton/all_reduce.py at lines 319, 411, 661, 665, 684 and 688, the six iris.load calls, and compare them with the hint=(1, BLOCK_SIZE_N) already passed to the iris.store calls in the same kernels. The hint is applied in iris/mem/triton/ops.py around line 59. Done means all six loads carry the hint, the 2/4/8-rank correctness check against torch.distributed passes, and benchmark/ccl/bench_all_reduce.py shows before/after numbers for every variant. Multi-GPU ROCm hardware is needed to finish.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
all_reduce: every iris.store passes a vectorization hint, none of the iris.load calls do
hint= applies tl.multiple_of / tl.max_contiguous to the translated
pointer (iris/mem/triton/ops.py:59). It matters because translation rebases
through heap_bases, a runtime value, which erases the alignment and contiguity
the compiler knew about the original pointer — so the access falls back to a
narrower width. The hint restores it.
iris/ccl/triton/all_reduce.py:
| line | op | hint= |
|---|---|---|
| 332, 538, 675, 698 | iris.store |
yes, all four |
| 319, 411, 661, 665, 684, 688 | iris.load |
no, none of the six |
661/665 are the two_shot full-tile path, 684/688 its masked twin, 319 and 411 the
one_shot and spinlock paths.
The other three collectives are complete — all_gather 2/2, all_to_all 2/2,
reduce_scatter 4/4. all_reduce.py is the only file where the loads were missed.
Work
- Add
hint=to the sixiris.loadcalls, matching the shape already used on
the stores in the same kernel (hint=(1, BLOCK_SIZE_N)) - Confirm the access width changes in the ISA, per variant
- Correctness vs
torch.distributedon 2/4/8 ranks before timing - Before/after through
benchmark/ccl/bench_all_reduce.py, all variants
We expect a performance improvement here; it needs measuring.
- Lenguaje dominante
- Python
- Estrellas
- 202
- Forks
- 52
- Merge medio
- 5 d 2 h
- PR fusionados (30 d)
- 23
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ROCm/iris
-
core examples good first issue help wanted iris python
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 2 días
-
benchmarks bug examples iris test
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 2 días
-
bug examples invalid iris
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 2 días
-
enhancement gluon help wanted iris
Dificultad 5/5 Más de una semana Aptitud para principiantes 18/100
Los mantenedores suelen responder en 2 días
-
gluon good first issue help wanted iris python
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 2 días
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
omegaup/omegaup#10353 · 1 comentario ·
Los mantenedores suelen responder en 5 días
-
bot-triaged module: LrScheduler module: optimizer triaged
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
documentation glm5 llm-model
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
vllm-project/vllm-ascend#19062 ·
Los mantenedores suelen responder en 1 día
-
Author Page: shuai-zhao-llmAbiertoauthor-page correction
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
acl-org/acl-anthology#10496 · 1 comentario ·
Los mantenedores suelen responder en 1 día