[Question] Clarification on FP8 Micro-block Scaling and FP4 Support Timeline
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
Línea de trabajo
Revisa la documentación actual de Python de cuTile y los ejemplos de fp8, bf16 y ct.matmul, y compáralos con las preguntas del issue sobre Micro-block Scaling y NVFP4. Se considerará terminado cuando se documente si el scaling es automático, cómo se proporcionan los scale-factor tiles si no lo es y cuál es el calendario previsto para la compatibilidad con FP4 tiles.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi cuTile team,
I have two specific questions regarding the support for Blackwell-specific hardware features:
- Automatic Micro-block Scaling for FP8
When using fp8 with ct.matmul, how is the Micro-block Scaling (1x16) handled?
Automation: Does the tileiras compiler automatically handle the scaling logic and hardware invocation (5th-gen Tensor Core) under the hood?
Explicit Scaling: If it is not fully automatic, how should we provide the scale-factor tiles to the ct.matmul operator? Currently, the ct.matmul(A, B) signature seems to only accept data tiles. Is there a plan for a signature like ct.matmul(A, B, A_scale, B_scale)?
- NVFP4 (FP4) Support Roadmap
The current documentation and samples focus on fp8 and bf16. Since Blackwell's throughput peak is tied to NVFP4:
When can we expect the support for 4-bit narrow-precision tiles in cuTile Python?
Thanks for this great library!
- Lenguaje dominante
- Python
- Estrellas
- 2.2k
- Forks
- 155
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de NVIDIA/cutile-python
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
NVIDIA/cutile-python#105 · 2 comentarios ·
-
bug status: needs-triage
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
NVIDIA/cutile-python#102 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 68/100
NVIDIA/cutile-python#101 ·
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
NVIDIA/cutile-python#97 · 1 comentario ·
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
NVIDIA/cutile-python#96 · 1 comentario ·
Todos los issues de NVIDIA/cutile-python
Issues similares
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
canonical/paas-charm#368 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
tech debt
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
addition to tracking list Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
StevenBlack/hosts#3256 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
qualcomm/qai-appbuilder#275 ·