Enable FP8 (E4M3/E5M2) kernel execution for Radeon AI PRO R9700 (gfx1201, RDNA4)
Maintainer thường phản hồi trong vòng 4 ngày
@adityas-amd đang làm issue này rồi.
Từ ngày 13/11/2025.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Is your feature request related to a problem? Please describe.
Currently, FP8-capable RDNA4 GPUs (e.g., Radeon AI PRO R9700) are unable to execute FP8 kernels within ROCm-based frameworks.
When using Transformer Engine 2.1.0 for ROCm, any FP8 autocast attempt fails with:
AssertionError: Device arch gfx94x or gfx95x required for FP8 execution
This appears to stem from a hardcoded architecture whitelist inside the Transformer Engine ROCm backend, which excludes newer RDNA4 devices even though they advertise FP8 instruction support in hardware.
Describe the solution you'd like
Allow FP8 execution (E4M3/E5M2) on gfx1201 (RDNA4) GPUs by:
Detecting FP8 arithmetic capability dynamically (via HIP/ISA flags) instead of a fixed arch check, or
Extending the internal whitelist to include gfx1200–gfx1202 (RDNA4 class devices).
This would unlock hardware FP8 acceleration for professional Radeon AI and workstation cards that implement FP8 units, providing significant VRAM and throughput gains.
Describe alternatives you've considered
NA - Not possible other than moving to Nvidia.
Noting although not specifically states on ROCM 7.x Doco, FP8 does work without issue on Pytorch for the hardware for KV cache. TE would however add additional memory reduction and potential speed improvements.
Additional context
GPU: AMD Radeon AI PRO R9700 (gfx1201, RDNA4, 32 GB)
ROCm: 7.0.2
Driver: 6.16.6 (Linux 6.8 kernel)
Transformer Engine (ROCm): 2.1.0
PyTorch: 2.8.0 + ROCm 7.0.2 container
FP8 features are already present in ROCm binaries (transformer_engine_rocm-2.1.0 and hipBLASLt), but the runtime rejects RDNA4 architectures.
Enabling this path would expand the usability of ROCm’s Transformer Engine and unify FP8 coverage across both CDNA3 and RDNA4 products.
- Ngôn ngữ chính
- Python
- Star
- 77
- Fork
- 36
- Merge trung bình
- 5 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 12
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ROCm/TransformerEngine
-
CP LSE merge switches compiled variants on ROCm, breaking forward reproducibilityCó thể đã có người làm @zjin-lcf đã nhận 61 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
ROCm/TransformerEngine#693 ·
Maintainer thường phản hồi trong vòng 4 ngày
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100
ROCm/TransformerEngine#665 ·
Maintainer thường phản hồi trong vòng 4 ngày
-
MXFP8 uses logical block size 32, but some ROCm training paths still hard-require `block_len == 128`Có thể làm lại được @adityas-amd đã nhận 188 ngày trước và không có pull request nào đang mở. Đang mởbug status: triage
ROCm/TransformerEngine#539 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 4 ngày
-
nvfp4Đang mởenhancement
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
ROCm/TransformerEngine#358 ·
Maintainer thường phản hồi trong vòng 4 ngày
-
Under Investigation
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
ROCm/TransformerEngine#82 · 14 bình luận · 1 reaction ·
Maintainer thường phản hồi trong vòng 4 ngày
Tất cả issue của ROCm/TransformerEngine
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
mihai-vlc/sublime-jsfmt#56 ·
-
comp/cli comp/plugins P2 type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
NousResearch/hermes-agent#141917 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Go device SDK: Whisper transcriber keeps buffering and transcribing audio appended after Stop()Có thể đã có người làm @apoorvdarshan đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
BasedHardware/omi#22770 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug needs-acceptance wg/router-models-inference-runtime
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
vllm-project/semantic-router#5295 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
huggingface/huggingface_hub#5210 ·
Maintainer thường phản hồi trong vòng 1 ngày