NVIDIA/TransformerEngine

在 GitHub 查看

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

NVIDIA/TransformerEngine 对新手友好吗？

近 30 天，NVIDIA/TransformerEngine 合并了外部贡献者提交的 61 个 PR 中的 15 个，维护者通常 2 天内回复。目前有 3 个适合新手的 issue 开放。

星标: 3.6k
派生: 851
开放的新手 issue: 3
已索引 issue: 176
平均合并: 4 天 15 小时
30 天内合并 PR: 51

主要语言: Python
许可证: Apache-2.0
最近 GitHub push: 2026年10月7日
最近索引: 2026年9月19日
贡献指南: 贡献指南
行为准则: 没有行为准则
新手标签: 没有已索引的新手标签

如何为 NVIDIA/TransformerEngine 做贡献

先读贡献指南：它说明了维护者希望如何提出、测试和评审改动。
你的贡献将以该项目的 Apache-2.0 许可证发布。
从下方 3 个开放的新手友好 issue 中选一个，开始之前先留言说明你想认领它。

适合新手全部

未关闭全部

可能已有人在做的 issue 排在最后。全部按时间排序

[PyTorch] CUDA graph RNG registration floods training logs on automatic-registration builds
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 50/100

NVIDIA/TransformerEngine#3645 · 2026年10月7日创建

维护者通常 2 天内回复
Support exporting MXFP8 values and scales from TE quantized tensors
未关闭
- 哪里不对？
enhancement

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TransformerEngine#3644 · 2026年10月7日创建

维护者通常 2 天内回复
Enabling grouped MLP fusion breaks previously working 128-aligned inputs
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 54/100

NVIDIA/TransformerEngine#3640 · 8 条评论 · 2026年10月6日创建

维护者通常 2 天内回复
[PyTorch] fp8_cs_quantize fake implementation returns a vector inverse scale instead of a scalar
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 82/100

NVIDIA/TransformerEngine#3636 · 2026年10月6日创建

维护者通常 2 天内回复
[Feature Request] Support dynamic token counts in TP communication/GEMM overlap
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

NVIDIA/TransformerEngine#3564 · 2 条评论 · 2026年9月23日创建

维护者通常 2 天内回复
[PyTorch][Attention] THD P2P context-parallel regression when padded cu_seqlens are value-equal but not object-identical
可能重新可做关联的 PR 已关闭且未合并。未关闭
- 哪里不对？
attention

难度 4/5 3-5 天新手友好度 38/100

NVIDIA/TransformerEngine#3487 · 2026年9月5日创建

维护者通常 2 天内回复
NCCL EP hard link makes `import transformer_engine` require `libcuda.so.1`
可能重新可做 @phu0ngng 于 54 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
NVIDIA/TransformerEngine#3381 · 3 条评论 · 已指派 1 人 · 2026年8月13日创建

维护者通常 2 天内回复
[Bug] CUDA graph backward replay illegal memory access after validation with mixed NVFP4/MXFP8 Mamba
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

NVIDIA/TransformerEngine#3316 · 2026年8月4日创建

维护者通常 2 天内回复
[Bug] Using `QuantizedTensor` on CPU causes a `RecursionError`
未关闭
- 哪里不对？
bug

难度 3/5 1-2 天新手友好度 68/100

NVIDIA/TransformerEngine#3294 · 4 条评论 · 2026年7月30日创建

维护者通常 2 天内回复
FP8 DPA future token leakage
未关闭
- 哪里不对？
attention bug

难度 5/5 一周以上新手友好度 38/100

NVIDIA/TransformerEngine#3248 · 1 条评论 · 2026年7月24日创建

维护者通常 2 天内回复
cuDNN to accept actual seqlens in addition to cumulative seqlens
可能重新可做 @KshitijLakhani 于 83 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
attention

NVIDIA/TransformerEngine#3218 · 1 条评论 · 已指派 1 人 · 2026年7月16日创建

维护者通常 2 天内回复
[BUG] NVFP4 fails on RTX 5070 Laptop (SM120): CUDA Error: no kernel image is available for execution on the device
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 50/100

NVIDIA/TransformerEngine#3217 · 2 条评论 · 2026年7月16日创建

维护者通常 2 天内回复
[PyTorch] FusedAdam/multi_tensor_apply: OOB metadata writes when a zero-numel tensor lands in the last TensorListMetadata slot (CUDA IMA / misaligned address; silent corruption below threshold)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 68/100

NVIDIA/TransformerEngine#3202 · 2026年7月10日创建

维护者通常 2 天内回复
[PyTorch] Request a migration path for downstream `_GroupedLinear` integrations after the 2.17 signature change
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

NVIDIA/TransformerEngine#3191 · 2 条评论 · 2026年7月8日创建

维护者通常 2 天内回复
Plumb dbias request in isolation into the common backend selector
未关闭
- 哪里不对？
attention bug

难度 4/5 3-5 天新手友好度 35/100

NVIDIA/TransformerEngine#3188 · 2026年7月8日创建

维护者通常 2 天内回复
Hybrid quantization follow-ups
可能重新可做 @negvet 于 99 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
bug

NVIDIA/TransformerEngine#3158 · 已指派 1 人 · 2026年6月30日创建

维护者通常 2 天内回复
Track recipe config changes for quantizer rebuilds
可能重新可做 @negvet 于 99 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
bug

NVIDIA/TransformerEngine#3157 · 已指派 1 人 · 2026年6月30日创建

维护者通常 2 天内回复
Vendor-neutral reference: NVFP4 vs OCP MXFP4 block-structure parameters (request for confirmation)
未关闭
- 哪里不对？
question

难度 4/5 3-5 天新手友好度 25/100

NVIDIA/TransformerEngine#3105 · 2026年6月8日创建

维护者通常 2 天内回复
`test_comm_gemm_overlap.py::test_multi_layer_with_overlap_bf16` fails on A100
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3097 · 2026年6月5日创建

维护者通常 2 天内回复
Low-overhead stateless functional quantize/GEMM API (plain tensors in → out)
未关闭
- 哪里不对？
enhancement

难度 5/5 一周以上新手友好度 32/100

NVIDIA/TransformerEngine#3087 · 1 条评论 · 2026年6月5日创建

维护者通常 2 天内回复
Fused attention should distinguish bias input from dBias request
可能重新可做 @cyanguwa 于 125 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
attention

NVIDIA/TransformerEngine#3082 · 已指派 1 人 · 2026年6月4日创建

维护者通常 2 天内回复
NVFP4 default recipe (RHT + stochastic rounding) crashes on sm_120: fused kernel exceeds 101376-byte shared-memory opt-in cap
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3062 · 1 个 reaction · 2026年5月29日创建

维护者通常 2 天内回复
[Common] Move heavy kernel compilation to NVRTC
未关闭
- 哪里不对？
installation

难度 5/5 一周以上新手友好度 45/100

NVIDIA/TransformerEngine#3054 · 1 条评论 · 2026年5月28日创建

维护者通常 2 天内回复
[JAX] score_mod attention to support "enforce_precompiled" flag in cuDNN graph deserialization
可能重新可做 @vcherepanov-nv 于 134 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
attention jax

NVIDIA/TransformerEngine#3046 · 已指派 1 人 · 2026年5月26日创建

维护者通常 2 天内回复
[PyTorch] Integrate cuDNN GQA + DSA backend into DotProductAttention
可能重新可做 @cyanguwa 于 134 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
attention

NVIDIA/TransformerEngine#3028 · 1 个 reaction · 已指派 1 人 · 2026年5月21日创建

维护者通常 2 天内回复
[Common + PyTorch] Support Dispatch FP8
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

NVIDIA/TransformerEngine#3026 · 2026年5月21日创建

维护者通常 2 天内回复
[JAX] Dispatch/Combine for BF16 Tensor
可能重新可做 @phu0ngng 于 139 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
NVIDIA/TransformerEngine#3025 · 1 条评论 · 已指派 1 人 · 2026年5月21日创建

维护者通常 2 天内回复
[PyTorch] Dispatch/Combine for BF16 tensor + Zero-Copy
可能重新可做 @phu0ngng 于 139 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
NVIDIA/TransformerEngine#3024 · 1 条评论 · 已指派 1 人 · 2026年5月21日创建

维护者通常 2 天内回复
[Common] Initial NCCL EP integration + Distributed CPP unit tests
可能重新可做 @phu0ngng 于 138 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
NVIDIA/TransformerEngine#3023 · 1 条评论 · 已指派 1 人 · 2026年5月21日创建

维护者通常 2 天内回复
[Common] Infrastructure for symmetric window
可能重新可做 @phu0ngng 于 139 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
NVIDIA/TransformerEngine#3022 · 已指派 1 人 · 2026年5月21日创建

维护者通常 2 天内回复
TE EP comm backend with NCCL EP
可能重新可做 @phu0ngng 于 139 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
NVIDIA/TransformerEngine#3021 · 已指派 1 人 · 2026年5月21日创建

维护者通常 2 天内回复
No flash and fused attention for Gemma4 26B-A4B
未关闭
- 哪里不对？
bug megatron

难度 4/5 3-5 天新手友好度 42/100

NVIDIA/TransformerEngine#3006 · 1 条评论 · 2026年5月18日创建

维护者通常 2 天内回复
[JAX] Move quantization to before AG in MoEBlock
可能重新可做 @jberchtold-nvidia 于 86 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
NVIDIA/TransformerEngine#2998 · 已指派 1 人 · 2026年5月15日创建

维护者通常 2 天内回复
Reduce CPU overheads in te Sequential GroupedLinear Op
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

NVIDIA/TransformerEngine#2995 · 2 条评论 · 2026年5月14日创建

维护者通常 2 天内回复
TransformerLayer implementation is overly complex and difficult to follow
未关闭
- 哪里不对？
question

难度 5/5 一周以上新手友好度 30/100

NVIDIA/TransformerEngine#2903 · 2026年4月20日创建

维护者通常 2 天内回复
[BUG] `CrossEntropyFunction.forward()` modifies input in-place without `ctx.mark_dirty()`, causing GPU memory leak
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 52/100

NVIDIA/TransformerEngine#2899 · 2 条评论 · 2026年4月17日创建

维护者通常 2 天内回复
[BUG] SIGSEGV in fused_attn_fwd when cu_seqlens_q != cu_seqlens_q_padded with FP8 blockwise
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

NVIDIA/TransformerEngine#2892 · 2 条评论 · 2026年4月16日创建

维护者通常 2 天内回复
[Bug]trtexec build engine succeeded on the H100 GPU but failed on the 5090 GPU
可能重新可做 @ptrendx 于 174 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
bug

NVIDIA/TransformerEngine#2891 · 4 条评论 · 已指派 1 人 · 2026年4月16日创建

维护者通常 2 天内回复
[Feature Request] Add Gated Delta Net (GDN) support
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

NVIDIA/TransformerEngine#2884 · 2026年4月15日创建

维护者通常 2 天内回复
[Bug] Context parallel crashes with asymmetric K/V head dims (GQA + enable_mla path)
可能重新可做关联的 PR 已关闭且未合并。未关闭
- 哪里不对？
bug

难度 3/5 1-2 天新手友好度 68/100

NVIDIA/TransformerEngine#2868 · 3 条评论 · 2026年4月11日创建

维护者通常 2 天内回复
FP8 weight caching shows no speedup (sometimes slowdown) and causes training curve differences under Float8BlockScaling
可能重新可做 @ptrendx 于 182 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
NVIDIA/TransformerEngine#2852 · 2 条评论 · 已指派 1 人 · 2026年4月8日创建

维护者通常 2 天内回复
Request for batched general_gemm() (or FP8-aware torch.bmm) for non-Linear GEMM workloads
未关闭
- 哪里不对？
field-request

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TransformerEngine#2846 · 2026年4月7日创建

维护者通常 2 天内回复
Questions about test_float8_blockwise_gemm_exact.py
未关闭
- 哪里不对？
question

难度 4/5 3-5 天新手友好度 35/100

NVIDIA/TransformerEngine#2828 · 2026年4月3日创建

维护者通常 2 天内回复
Adaptive Compression
未关闭
- 哪里不对？
question

难度 5/5 一周以上新手友好度 30/100

NVIDIA/TransformerEngine#2807 · 4 条评论 · 2 个 reaction · 2026年3月28日创建

维护者通常 2 天内回复
Request for additional features from TE Debug modules for low precision training.
可能重新可做 @pggPL 于 191 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
enhancement

NVIDIA/TransformerEngine#2801 · 2 条评论 · 已指派 1 人 · 2026年3月25日创建

维护者通常 2 天内回复
[Question] Expected behavior for blockwise FP8? Hybrid E4M3/E5M2 format & eval metrics outperforming BF16
可能重新可做 @ptrendx 于 204 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
question

NVIDIA/TransformerEngine#2754 · 2 条评论 · 已指派 1 人 · 2026年3月11日创建

维护者通常 2 天内回复
Enable Router custom call from JAX
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

NVIDIA/TransformerEngine#2710 · 2026年2月26日创建

维护者通常 2 天内回复
Performance bottleneck in TransformerLayer and Attention when using attention mask
可能重新可做 @cyanguwa 于 219 天前认领，目前没有进行中的 PR。未关闭
- 哪里不对？
bug

NVIDIA/TransformerEngine#2703 · 1 条评论 · 已指派 1 人 · 2026年2月25日创建

维护者通常 2 天内回复
[JAX] Expose sigmoid GLU activation type
未关闭
- 哪里不对？
jax Priority = P1

难度 4/5 3-5 天新手友好度 25/100

NVIDIA/TransformerEngine#2687 · 2 条评论 · 2026年2月17日创建

维护者通常 2 天内回复
[Core] TE common nvte_grouped_gemm workspace is incorrect
未关闭
- 哪里不对？
bug MoE

难度 5/5 一周以上新手友好度 5/100

NVIDIA/TransformerEngine#2660 · 2026年2月9日创建

维护者通常 2 天内回复

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

NVIDIA/TransformerEngine

NVIDIA/TransformerEngine 对新手友好吗？

如何为 NVIDIA/TransformerEngine 做贡献

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

只显示最新的 100 条

把新 issue 发到你的邮箱