[QUESTION] Emulator: to which precision is this consider correct ?

Abierto
#68 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
30/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python, pytorch
Área
testing

Línea de trabajo

Start by locating test_all_reduce in the emulator test suite and the all-reduce implementation it exercises; run it to reproduce the mismatch at roughly seven digits. Check whether the test asserts exact equality or an explicit floating-point tolerance, and compare with similar emulator tests. Done means the expected precision/tolerance is documented and the test either uses a justified tolerance or the mismatch is explained.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Hi, I was running the test_all_reduce which fails because the tensors are not similar enough after around 7 digits. Is this an expected behavior ? or do we want exact matching value ?

torch.set_printoptions(precision=10)

ground_truth[torch_rank]
tensor([ 2.1518430710, -3.1110968590, -3.0482885838, -0.1535055935,
         0.5451227427,  0.6111478806, -0.0351422131, -0.0474908650,
        -1.0834826231,  0.4075058699], device='cuda:0')
data_list[torch_rank]
tensor([ 2.1518430710, -3.1110968590, -3.0482888222, -0.1535055935,
         0.5451227427,  0.6111478806, -0.0351421833, -0.0474908650,
        -1.0834826231,  0.4075058401], device='cuda:0')
Lenguaje dominante
Python
Estrellas
1k
Forks
65
Merge medio
21 h 34 min
PR fusionados (30 d)
1

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de volcengine/veScale

Todos los issues de volcengine/veScale

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.