[Question] Clarification on FP8 Micro-block Scaling and FP4 Support Timeline
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
Direzione di ricerca
Esamina la documentazione Python attuale di cuTile e gli esempi per fp8, bf16 e ct.matmul, quindi confrontali con le domande dell’issue relative a Micro-block Scaling e NVFP4. Il lavoro è completo quando è documentato se lo scaling è automatico, come vengono forniti gli scale-factor tiles in caso contrario e quale sia la tempistica prevista per il supporto degli FP4 tiles.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi cuTile team,
I have two specific questions regarding the support for Blackwell-specific hardware features:
- Automatic Micro-block Scaling for FP8
When using fp8 with ct.matmul, how is the Micro-block Scaling (1x16) handled?
Automation: Does the tileiras compiler automatically handle the scaling logic and hardware invocation (5th-gen Tensor Core) under the hood?
Explicit Scaling: If it is not fully automatic, how should we provide the scale-factor tiles to the ct.matmul operator? Currently, the ct.matmul(A, B) signature seems to only accept data tiles. Is there a plan for a signature like ct.matmul(A, B, A_scale, B_scale)?
- NVFP4 (FP4) Support Roadmap
The current documentation and samples focus on fp8 and bf16. Since Blackwell's throughput peak is tied to NVFP4:
When can we expect the support for 4-bit narrow-precision tiles in cuTile Python?
Thanks for this great library!
- Lingua principale
- Python
- Stelle
- 2.2k
- Fork
- 155
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di NVIDIA/cutile-python
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
NVIDIA/cutile-python#105 · 2 commenti ·
-
bug status: needs-triage
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
NVIDIA/cutile-python#102 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 68/100
NVIDIA/cutile-python#101 ·
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
NVIDIA/cutile-python#97 · 1 commento ·
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100
NVIDIA/cutile-python#96 · 1 commento ·
Tutte le issue di NVIDIA/cutile-python
Issue simili
-
essnmx good first issue
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
-
[Feature] 奇物选择添加优先级 Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
syfoud/Simulated_Scepter#174 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Giskard-AI/giskard-oss#2840 · 1 commento ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success Apertaarea: repo bug perceived difficulty: 2
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
yeti-platform/yeti#1380 ·