NVIDIA/TransformerEngine

在 GitHub 檢視

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

NVIDIA/TransformerEngine 對新手友好嗎？

近 30 天，NVIDIA/TransformerEngine 合併了外部貢獻者提交的 62 個 PR 中的 13 個，維護者通常 2 天內回覆。目前有 2 個適合新手的 issue 開放。

星號: 3.6k
分支: 844
開放的新手 issue: 2
已索引 issue: 174
平均合併: 4 天 55 分鐘
30 天內合併 PR: 51

主要語言: Python
授權條款: Apache-2.0
最近 GitHub push: 2026年10月1日
最近索引: 2026年9月19日
貢獻指南: 貢獻指南
行為準則: 沒有行為準則
新手標籤: 沒有已索引的新手標籤

如何為 NVIDIA/TransformerEngine 做貢獻

先讀貢獻指南：它說明了維護者希望如何提出、測試和審查變更。
你的貢獻將以該專案的 Apache-2.0 授權條款發布。
從下方 2 個開放的新手友好 issue 中選一個，開始之前先留言說明你想認領它。

適合新手全部

未關閉全部

可能已有人在做的 issue 排在最後。全部依時間排序

Enabling grouped MLP fusion breaks previously working 128-aligned inputs
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 54/100

NVIDIA/TransformerEngine#3640 · 5 則留言 · 2026年10月6日建立

維護者通常 2 天內回覆
[PyTorch] fp8_cs_quantize fake implementation returns a vector inverse scale instead of a scalar
未關閉
- 哪裡不對？
難度 2/5 1-3 小時新手友好度 82/100

NVIDIA/TransformerEngine#3636 · 2026年10月6日建立

維護者通常 2 天內回覆
[Feature Request] Support dynamic token counts in TP communication/GEMM overlap
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 45/100

NVIDIA/TransformerEngine#3564 · 2 則留言 · 2026年9月23日建立

維護者通常 2 天內回覆
[PyTorch][Attention] THD P2P context-parallel regression when padded cu_seqlens are value-equal but not object-identical
可能重新可做關聯的 PR 已關閉且未合併。未關閉
- 哪裡不對？
attention

難度 4/5 3-5 天新手友好度 38/100

NVIDIA/TransformerEngine#3487 · 2026年9月5日建立

維護者通常 2 天內回覆
NCCL EP hard link makes `import transformer_engine` require `libcuda.so.1`
可能重新可做 @phu0ngng 於 53 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
NVIDIA/TransformerEngine#3381 · 3 則留言 · 已指派 1 人 · 2026年8月13日建立

維護者通常 2 天內回覆
[Bug] CUDA graph backward replay illegal memory access after validation with mixed NVFP4/MXFP8 Mamba
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

NVIDIA/TransformerEngine#3316 · 2026年8月4日建立

維護者通常 2 天內回覆
[Bug] Using `QuantizedTensor` on CPU causes a `RecursionError`
未關閉
- 哪裡不對？
bug

難度 3/5 1-2 天新手友好度 68/100

NVIDIA/TransformerEngine#3294 · 4 則留言 · 2026年7月30日建立

維護者通常 2 天內回覆
FP8 DPA future token leakage
未關閉
- 哪裡不對？
attention bug

難度 5/5 一週以上新手友好度 38/100

NVIDIA/TransformerEngine#3248 · 1 則留言 · 2026年7月24日建立

維護者通常 2 天內回覆
cuDNN to accept actual seqlens in addition to cumulative seqlens
可能重新可做 @KshitijLakhani 於 82 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
attention

NVIDIA/TransformerEngine#3218 · 1 則留言 · 已指派 1 人 · 2026年7月16日建立

維護者通常 2 天內回覆
[BUG] NVFP4 fails on RTX 5070 Laptop (SM120): CUDA Error: no kernel image is available for execution on the device
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 50/100

NVIDIA/TransformerEngine#3217 · 2 則留言 · 2026年7月16日建立

維護者通常 2 天內回覆
[PyTorch] FusedAdam/multi_tensor_apply: OOB metadata writes when a zero-numel tensor lands in the last TensorListMetadata slot (CUDA IMA / misaligned address; silent corruption below threshold)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 68/100

NVIDIA/TransformerEngine#3202 · 2026年7月10日建立

維護者通常 2 天內回覆
[PyTorch] Request a migration path for downstream `_GroupedLinear` integrations after the 2.17 signature change
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

NVIDIA/TransformerEngine#3191 · 2 則留言 · 2026年7月8日建立

維護者通常 2 天內回覆
Plumb dbias request in isolation into the common backend selector
未關閉
- 哪裡不對？
attention bug

難度 4/5 3-5 天新手友好度 35/100

NVIDIA/TransformerEngine#3188 · 2026年7月8日建立

維護者通常 2 天內回覆
Hybrid quantization follow-ups
可能重新可做 @negvet 於 98 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
bug

NVIDIA/TransformerEngine#3158 · 已指派 1 人 · 2026年6月30日建立

維護者通常 2 天內回覆
Track recipe config changes for quantizer rebuilds
可能重新可做 @negvet 於 98 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
bug

NVIDIA/TransformerEngine#3157 · 已指派 1 人 · 2026年6月30日建立

維護者通常 2 天內回覆
Vendor-neutral reference: NVFP4 vs OCP MXFP4 block-structure parameters (request for confirmation)
未關閉
- 哪裡不對？
question

難度 4/5 3-5 天新手友好度 25/100

NVIDIA/TransformerEngine#3105 · 2026年6月8日建立

維護者通常 2 天內回覆
`test_comm_gemm_overlap.py::test_multi_layer_with_overlap_bf16` fails on A100
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3097 · 2026年6月5日建立

維護者通常 2 天內回覆
Low-overhead stateless functional quantize/GEMM API (plain tensors in → out)
未關閉
- 哪裡不對？
enhancement

難度 5/5 一週以上新手友好度 32/100

NVIDIA/TransformerEngine#3087 · 1 則留言 · 2026年6月5日建立

維護者通常 2 天內回覆
Fused attention should distinguish bias input from dBias request
可能重新可做 @cyanguwa 於 124 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
attention

NVIDIA/TransformerEngine#3082 · 已指派 1 人 · 2026年6月4日建立

維護者通常 2 天內回覆
NVFP4 default recipe (RHT + stochastic rounding) crashes on sm_120: fused kernel exceeds 101376-byte shared-memory opt-in cap
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3062 · 1 個 reaction · 2026年5月29日建立

維護者通常 2 天內回覆
[Common] Move heavy kernel compilation to NVRTC
未關閉
- 哪裡不對？
installation

難度 5/5 一週以上新手友好度 45/100

NVIDIA/TransformerEngine#3054 · 1 則留言 · 2026年5月28日建立

維護者通常 2 天內回覆
[JAX] score_mod attention to support "enforce_precompiled" flag in cuDNN graph deserialization
可能重新可做 @vcherepanov-nv 於 133 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
attention jax

NVIDIA/TransformerEngine#3046 · 已指派 1 人 · 2026年5月26日建立

維護者通常 2 天內回覆
[PyTorch] Integrate cuDNN GQA + DSA backend into DotProductAttention
可能重新可做 @cyanguwa 於 133 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
attention

NVIDIA/TransformerEngine#3028 · 1 個 reaction · 已指派 1 人 · 2026年5月21日建立

維護者通常 2 天內回覆
[Common + PyTorch] Support Dispatch FP8
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

NVIDIA/TransformerEngine#3026 · 2026年5月21日建立

維護者通常 2 天內回覆
[JAX] Dispatch/Combine for BF16 Tensor
可能重新可做 @phu0ngng 於 138 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
NVIDIA/TransformerEngine#3025 · 1 則留言 · 已指派 1 人 · 2026年5月21日建立

維護者通常 2 天內回覆
[PyTorch] Dispatch/Combine for BF16 tensor + Zero-Copy
可能重新可做 @phu0ngng 於 138 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
NVIDIA/TransformerEngine#3024 · 1 則留言 · 已指派 1 人 · 2026年5月21日建立

維護者通常 2 天內回覆
[Common] Initial NCCL EP integration + Distributed CPP unit tests
可能重新可做 @phu0ngng 於 137 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
NVIDIA/TransformerEngine#3023 · 1 則留言 · 已指派 1 人 · 2026年5月21日建立

維護者通常 2 天內回覆
[Common] Infrastructure for symmetric window
可能重新可做 @phu0ngng 於 138 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
NVIDIA/TransformerEngine#3022 · 已指派 1 人 · 2026年5月21日建立

維護者通常 2 天內回覆
TE EP comm backend with NCCL EP
可能重新可做 @phu0ngng 於 138 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
NVIDIA/TransformerEngine#3021 · 已指派 1 人 · 2026年5月21日建立

維護者通常 2 天內回覆
No flash and fused attention for Gemma4 26B-A4B
未關閉
- 哪裡不對？
bug megatron

難度 4/5 3-5 天新手友好度 42/100

NVIDIA/TransformerEngine#3006 · 1 則留言 · 2026年5月18日建立

維護者通常 2 天內回覆
[JAX] Move quantization to before AG in MoEBlock
可能重新可做 @jberchtold-nvidia 於 85 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
NVIDIA/TransformerEngine#2998 · 已指派 1 人 · 2026年5月15日建立

維護者通常 2 天內回覆
Reduce CPU overheads in te Sequential GroupedLinear Op
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 38/100

NVIDIA/TransformerEngine#2995 · 2 則留言 · 2026年5月14日建立

維護者通常 2 天內回覆
TransformerLayer implementation is overly complex and difficult to follow
未關閉
- 哪裡不對？
question

難度 5/5 一週以上新手友好度 30/100

NVIDIA/TransformerEngine#2903 · 2026年4月20日建立

維護者通常 2 天內回覆
[BUG] `CrossEntropyFunction.forward()` modifies input in-place without `ctx.mark_dirty()`, causing GPU memory leak
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 52/100

NVIDIA/TransformerEngine#2899 · 2 則留言 · 2026年4月17日建立

維護者通常 2 天內回覆
[BUG] SIGSEGV in fused_attn_fwd when cu_seqlens_q != cu_seqlens_q_padded with FP8 blockwise
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 45/100

NVIDIA/TransformerEngine#2892 · 2 則留言 · 2026年4月16日建立

維護者通常 2 天內回覆
[Bug]trtexec build engine succeeded on the H100 GPU but failed on the 5090 GPU
可能重新可做 @ptrendx 於 173 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
bug

NVIDIA/TransformerEngine#2891 · 4 則留言 · 已指派 1 人 · 2026年4月16日建立

維護者通常 2 天內回覆
[Feature Request] Add Gated Delta Net (GDN) support
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

NVIDIA/TransformerEngine#2884 · 2026年4月15日建立

維護者通常 2 天內回覆
[Bug] Context parallel crashes with asymmetric K/V head dims (GQA + enable_mla path)
可能重新可做關聯的 PR 已關閉且未合併。未關閉
- 哪裡不對？
bug

難度 3/5 1-2 天新手友好度 68/100

NVIDIA/TransformerEngine#2868 · 3 則留言 · 2026年4月11日建立

維護者通常 2 天內回覆
FP8 weight caching shows no speedup (sometimes slowdown) and causes training curve differences under Float8BlockScaling
可能重新可做 @ptrendx 於 181 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
NVIDIA/TransformerEngine#2852 · 2 則留言 · 已指派 1 人 · 2026年4月8日建立

維護者通常 2 天內回覆
Request for batched general_gemm() (or FP8-aware torch.bmm) for non-Linear GEMM workloads
未關閉
- 哪裡不對？
field-request

難度 5/5 一週以上新手友好度 35/100

NVIDIA/TransformerEngine#2846 · 2026年4月7日建立

維護者通常 2 天內回覆
Questions about test_float8_blockwise_gemm_exact.py
未關閉
- 哪裡不對？
question

難度 4/5 3-5 天新手友好度 35/100

NVIDIA/TransformerEngine#2828 · 2026年4月3日建立

維護者通常 2 天內回覆
Adaptive Compression
未關閉
- 哪裡不對？
question

難度 5/5 一週以上新手友好度 30/100

NVIDIA/TransformerEngine#2807 · 4 則留言 · 2 個 reaction · 2026年3月28日建立

維護者通常 2 天內回覆
Request for additional features from TE Debug modules for low precision training.
可能重新可做 @pggPL 於 190 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
enhancement

NVIDIA/TransformerEngine#2801 · 2 則留言 · 已指派 1 人 · 2026年3月25日建立

維護者通常 2 天內回覆
[Question] Expected behavior for blockwise FP8? Hybrid E4M3/E5M2 format & eval metrics outperforming BF16
可能重新可做 @ptrendx 於 203 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
question

NVIDIA/TransformerEngine#2754 · 2 則留言 · 已指派 1 人 · 2026年3月11日建立

維護者通常 2 天內回覆
Enable Router custom call from JAX
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 35/100

NVIDIA/TransformerEngine#2710 · 2026年2月26日建立

維護者通常 2 天內回覆
Performance bottleneck in TransformerLayer and Attention when using attention mask
可能重新可做 @cyanguwa 於 218 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
bug

NVIDIA/TransformerEngine#2703 · 1 則留言 · 已指派 1 人 · 2026年2月25日建立

維護者通常 2 天內回覆
[JAX] Expose sigmoid GLU activation type
未關閉
- 哪裡不對？
jax Priority = P1

難度 4/5 3-5 天新手友好度 25/100

NVIDIA/TransformerEngine#2687 · 2 則留言 · 2026年2月17日建立

維護者通常 2 天內回覆
[Core] TE common nvte_grouped_gemm workspace is incorrect
未關閉
- 哪裡不對？
bug MoE

難度 5/5 一週以上新手友好度 5/100

NVIDIA/TransformerEngine#2660 · 2026年2月9日建立

維護者通常 2 天內回覆
[JAX] Upstream checkpointing of quantizations in TE/JAX to MaxText
未關閉
- 哪裡不對？
field-request fp4 FP8 jax

難度 4/5 3-5 天新手友好度 35/100

NVIDIA/TransformerEngine#2658 · 1 則留言 · 2026年2月6日建立

維護者通常 2 天內回覆
Heuristic Fallback in cuDNN: Why THD Format Reverts to SM80 on Hopper GPUs
可能重新可做 @cyanguwa 於 246 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
question

NVIDIA/TransformerEngine#2616 · 2 則留言 · 已指派 1 人 · 2026年1月22日建立

維護者通常 2 天內回覆

只顯示最新的 100 筆

這個頁面只列出最近收錄的部分。完整清單在進階篩選裡，可以依語言、難度和預計耗時篩選。

前往進階篩選

NVIDIA/TransformerEngine

NVIDIA/TransformerEngine 對新手友好嗎？

如何為 NVIDIA/TransformerEngine 做貢獻

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

只顯示最新的 100 筆

把新 issue 寄到你的電子郵件信箱