selective router precision
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- machine-learning
Línea de trabajo
Lee megablocks/layers/router.py, megablocks/layers/mlp.py y megablocks/layers/dmoe.py alrededor de las líneas enlazadas y, después, sigue el dtype configurado y el comportamiento de autocast en la ruta de entrenamiento relevante. Compara el comportamiento observado con la referencia de Switch Transformer del issue; el trabajo requiere una respuesta confirmada por un maintainer o un cambio claramente delimitado para el routing selectivo en fp32.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
To my understanding -- and please correct me if I am wrong about this -- there is no mechanism to selectively compute routing logits in fp32, as is suggested in e.g. switch transformers. Basis:
- The only mention of fp32/float computations I see anywhere are for
moe_lbl_in_fp32 - the router is initialized with the same dtype as the MLP weights (as configured by Arguments).
- There does not seem to be any explicit casting || autocast deactivation in router.py, nor any attempt to do so in dMoE
- Given that the router is implemented as a torch.nn.Linear, and the input to the router is pre-casted to autocast's precision, I can only presume that the computation must be done in half precision under normal AMP training.
Is this correct? If so, have you observed any instabilities in practice during training? Perhaps it is just not necessary...
- Lenguaje dominante
- Python
- Estrellas
- 1.6k
- Forks
- 228
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/megablocks
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
databricks/megablocks#188 · 2 comentarios ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/megablocks#184 ·
-
Compatibility with CUDA 13.0Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
databricks/megablocks#180 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/megablocks#179 ·
-
Issue with Sparse MLPAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
databricks/megablocks#178 · 1 comentario ·
Todos los issues de databricks/megablocks
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
volcengine/OpenViking#6445 ·
Los mantenedores suelen responder en 1 día
-
BUG:Edit Album strips spaces from the password so albums with a leading/trailing space in the password can't be editedPosiblemente ocupada @ManyaJain111 la tomó hoy. Abiertobug enhancement possible-duplicate
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
AOSSIE-Org/PictoPy#1637 · 4 comentarios ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
deepspeedai/DeepSpeed#8884 ·
Los mantenedores suelen responder en 3 días
-
Flaky: test_advisor_live_calibrates_an_unmeasured_circuit ranks engines by a 1.8ms sleep marginAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
flagos-ai/FlagQuantum#718 ·
Los mantenedores suelen responder en 1 día
-
bug CI-failure high priority
Dificultad 1/5 Menos de una hora Aptitud para principiantes 86/100
vllm-project/afd-plugin#483 ·
Los mantenedores suelen responder en 1 día