[QUESTION] How does veScale FSDP handles 2D FP8 blockwise scaling for RaggedShard
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 10/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
Línea de trabajo
This is a design question about how veScale FSDP shards FP8 weights for the DeepSeek blockwise recipe, not a scoped change. Start by reading the RaggedShard/FSDP parameter sharding path and wherever the FP8 blockwise scaling is applied, then compare it with the to_blocked_128x128 helper quoted in the issue to see whether the permutation happens before sharding, after the all-gather, or not at all. Done means an explanation of whether the permute/unpermute round-trip is required around the AG and how a regular FP8 GEMM is launched on the result — ideally recorded as a doc or comment so the next reader does not have to ask.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
For deepseek FP8 blockwise recipe, the scaling block size for weights is 128x128. Having 2D block scaling means sharding by blocks will make memory incontiguous. Does it mean that we have to go through the following function to "permute" the original [N, K] weight tensor. And then after the parameter AG, do we also need to "unpermute" it such that we can launch a regular FP8 GEMM?
def to_blocked_128x128(a: torch.Tensor) -> torch.Tensor:
N, K = a.shape
return a.view(N//128, 128, K//128, 128).permute(0, 2, 1, 3).contiguous()
- Lenguaje dominante
- Python
- Estrellas
- 1k
- Forks
- 65
- Merge medio
- 21 h 34 min
- PR fusionados (30 d)
- 1
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de volcengine/veScale
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 12/100
volcengine/veScale#75 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 8/100
volcengine/veScale#72 · 5 reacciones ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
volcengine/veScale#68 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 8/100
volcengine/veScale#65 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 12/100
volcengine/veScale#63 ·
Todos los issues de volcengine/veScale
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
docling-project/docling-pipelines#669 ·
Los mantenedores suelen responder en 1 día
-
blocked kind/enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
opendatahub-io/agent-eval-harness#329 · 2 comentarios · 1 reacción ·
-
cc_wrapper crashes with ValueError on Windows when a path is on another drivePosiblemente ocupada @TrapsterDK la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
tweag/rules_haskell#2492 ·
Los mantenedores suelen responder en 1 día