Illegal memory access on non-0 cuda devices from `histogram`
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Área
- machine-learning
Línea de trabajo
Comienza con la reproducción del issue usando megablocks.ops.histogram en cuda:1 y CUDA_LAUNCH_BLOCKING=1; después, inspecciona megablocks/ops/histogram.py, el punto de entrada mostrado en el traceback. Se considera terminado cuando histogram se ejecuta sin un acceso ilegal a memoria y calcula el resultado esperado para tensores en dispositivos CUDA distintos de cero.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
When the input tensor is not on device 0, histogram causes an illegal memory access which prevents indices_and_bins from being computed correctly on a model & inputs which aren't on device zero.
Reproduction:
import torch
import megablocks
idx = 1
device = f'cuda:{idx}'
test_tensor = torch.tensor([ 0 ], dtype=torch.int64, device=device)
result = megablocks.ops.histogram(test_tensor, 1).cpu()
when run with CUDA_LAUNCH_BLOCKING=1 we get
Traceback (most recent call last):
File "/home/ubuntu/test_mb.py", line 8, in <module>
result = megablocks.ops.histogram(test_tensor, 1).cpu()
File "/home/ubuntu/.local/lib/python3.10/site-packages/torch/autograd/function.py", line 598, in apply
return super().apply(*args, **kwargs) # type: ignore[misc]
File "/home/ubuntu/.local/lib/python3.10/site-packages/megablocks/ops/histogram.py", line 17, in forward
return ops.histogram(x, max_val)
RuntimeError: an illegal memory access was encountered
whereas when idx is set to 0 the correct values are computed. Quite confused as to how this might be possible.
I'm on megablocks 0.5.1,
numpy==2.0.0
torch==2.3.1
torchaudio==2.3.1
torchvision==0.18.1
triton==2.3.1
Cuda = 12.1 and reproduced on 2 A100's.
- Lenguaje dominante
- Python
- Estrellas
- 1.6k
- Forks
- 228
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
enhancement good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
elviskahoro/sdk-python-attio#144 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
RenyiELBO raises TypeError when model has no sample sitesPosiblemente ocupada @alibb007 la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día