NVIDIA/TransformerEngine
A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.
NVIDIA/TransformerEngine は初心者に優しい?
直近 30 日間に、NVIDIA/TransformerEngine は外部コントリビューターの PR 62 件のうち 13 件をマージしました。メンテナーはふだん 2 日以内に返信します。 初心者向けの issue が現在 2 件オープンです。
- スター
- 3.6k
- フォーク
- 844
- オープンの初心者向け issue
- 2
- 索引済み issue
- 174
- 平均マージ
- 4日 55分
- マージ済み PR(30日)
- 51
- 主要言語
- Python
- ライセンス
- Apache-2.0
- 最終 GitHub push
- 2026年10月1日
- 最新の索引
- 2026年9月19日
- コントリビューションガイド
- コントリビューションガイド
- 行動規範
- 行動規範がありません
- 初心者向けラベル
- 初心者向けラベルは索引されていません
NVIDIA/TransformerEngine にコントリビュートするには
- まずコントリビューションガイドを読みましょう。変更の提案、テスト、レビューの進め方が書かれています。
- あなたのコントリビュートはプロジェクトの Apache-2.0 ライセンスで公開されます。
- 下にある 2 件の初心者向けのオープンな issue から 1 つ選び、作業を始める前に取り組みたいとコメントしましょう。
誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
NVIDIA/TransformerEngine#3564 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
[PyTorch][Attention] THD P2P context-parallel regression when padded cu_seqlens are value-equal but not object-identical再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープンattention
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
NVIDIA/TransformerEngine#3487 ·
メンテナーはふだん 2 日以内に返信
-
NCCL EP hard link makes `import transformer_engine` require `libcuda.so.1`再び着手できるかも @phu0ngng が 53 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
NVIDIA/TransformerEngine#3381 · コメント 3 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
[Bug] CUDA graph backward replay illegal memory access after validation with mixed NVFP4/MXFP8 Mambaオープン
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
NVIDIA/TransformerEngine#3316 ·
メンテナーはふだん 2 日以内に返信
-
bug
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
NVIDIA/TransformerEngine#3294 · コメント 4 件 ·
メンテナーはふだん 2 日以内に返信
-
attention bug
難易度 5/5 1週間以上 初心者へのやさしさ 38/100
NVIDIA/TransformerEngine#3248 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
cuDNN to accept actual seqlens in addition to cumulative seqlens再び着手できるかも @KshitijLakhani が 82 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンattention
NVIDIA/TransformerEngine#3218 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 50/100
NVIDIA/TransformerEngine#3217 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 68/100
NVIDIA/TransformerEngine#3202 ·
メンテナーはふだん 2 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
NVIDIA/TransformerEngine#3191 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
attention bug
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
NVIDIA/TransformerEngine#3188 ·
メンテナーはふだん 2 日以内に返信
-
Hybrid quantization follow-ups再び着手できるかも @negvet が 98 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug
NVIDIA/TransformerEngine#3158 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
Track recipe config changes for quantizer rebuilds再び着手できるかも @negvet が 98 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug
NVIDIA/TransformerEngine#3157 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
Vendor-neutral reference: NVFP4 vs OCP MXFP4 block-structure parameters (request for confirmation)オープンquestion
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
NVIDIA/TransformerEngine#3105 ·
メンテナーはふだん 2 日以内に返信
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
NVIDIA/TransformerEngine#3097 ·
メンテナーはふだん 2 日以内に返信
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 32/100
NVIDIA/TransformerEngine#3087 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
Fused attention should distinguish bias input from dBias request再び着手できるかも @cyanguwa が 124 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンattention
NVIDIA/TransformerEngine#3082 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
NVIDIA/TransformerEngine#3062 · リアクション 1 件 ·
メンテナーはふだん 2 日以内に返信
-
installation
難易度 5/5 1週間以上 初心者へのやさしさ 45/100
NVIDIA/TransformerEngine#3054 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
[JAX] score_mod attention to support "enforce_precompiled" flag in cuDNN graph deserialization再び着手できるかも @vcherepanov-nv が 133 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンattention jax
NVIDIA/TransformerEngine#3046 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
[PyTorch] Integrate cuDNN GQA + DSA backend into DotProductAttention再び着手できるかも @cyanguwa が 133 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンattention
NVIDIA/TransformerEngine#3028 · リアクション 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
NVIDIA/TransformerEngine#3026 ·
メンテナーはふだん 2 日以内に返信
-
[JAX] Dispatch/Combine for BF16 Tensor再び着手できるかも @phu0ngng が 137 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
NVIDIA/TransformerEngine#3025 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
[PyTorch] Dispatch/Combine for BF16 tensor + Zero-Copy再び着手できるかも @phu0ngng が 137 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
NVIDIA/TransformerEngine#3024 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
[Common] Initial NCCL EP integration + Distributed CPP unit tests再び着手できるかも @phu0ngng が 137 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
NVIDIA/TransformerEngine#3023 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
[Common] Infrastructure for symmetric window再び着手できるかも @phu0ngng が 138 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
NVIDIA/TransformerEngine#3022 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
TE EP comm backend with NCCL EP再び着手できるかも @phu0ngng が 138 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
NVIDIA/TransformerEngine#3021 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
bug megatron
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
NVIDIA/TransformerEngine#3006 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
[JAX] Move quantization to before AG in MoEBlock再び着手できるかも @jberchtold-nvidia が 85 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
NVIDIA/TransformerEngine#2998 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
NVIDIA/TransformerEngine#2995 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
question
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
NVIDIA/TransformerEngine#2903 ·
メンテナーはふだん 2 日以内に返信
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
NVIDIA/TransformerEngine#2899 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
NVIDIA/TransformerEngine#2892 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
[Bug]trtexec build engine succeeded on the H100 GPU but failed on the 5090 GPU再び着手できるかも @ptrendx が 173 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug
NVIDIA/TransformerEngine#2891 · コメント 4 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
NVIDIA/TransformerEngine#2884 ·
メンテナーはふだん 2 日以内に返信
-
[Bug] Context parallel crashes with asymmetric K/V head dims (GQA + enable_mla path)再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープンbug
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
NVIDIA/TransformerEngine#2868 · コメント 3 件 ·
メンテナーはふだん 2 日以内に返信
-
FP8 weight caching shows no speedup (sometimes slowdown) and causes training curve differences under Float8BlockScaling再び着手できるかも @ptrendx が 181 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
NVIDIA/TransformerEngine#2852 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
field-request
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
NVIDIA/TransformerEngine#2846 ·
メンテナーはふだん 2 日以内に返信
-
question
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
NVIDIA/TransformerEngine#2828 ·
メンテナーはふだん 2 日以内に返信
-
Adaptive Compressionオープンquestion
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
NVIDIA/TransformerEngine#2807 · コメント 4 件 · リアクション 2 件 ·
メンテナーはふだん 2 日以内に返信
-
Request for additional features from TE Debug modules for low precision training.再び着手できるかも @pggPL が 190 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンenhancement
NVIDIA/TransformerEngine#2801 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
[Question] Expected behavior for blockwise FP8? Hybrid E4M3/E5M2 format & eval metrics outperforming BF16再び着手できるかも @ptrendx が 203 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンquestion
NVIDIA/TransformerEngine#2754 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
NVIDIA/TransformerEngine#2710 ·
メンテナーはふだん 2 日以内に返信
-
Performance bottleneck in TransformerLayer and Attention when using attention mask再び着手できるかも @cyanguwa が 218 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug
NVIDIA/TransformerEngine#2703 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
jax Priority = P1
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
NVIDIA/TransformerEngine#2687 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
bug MoE
難易度 5/5 1週間以上 初心者へのやさしさ 5/100
NVIDIA/TransformerEngine#2660 ·
メンテナーはふだん 2 日以内に返信
-
field-request fp4 FP8 jax
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
NVIDIA/TransformerEngine#2658 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
Heuristic Fallback in cuDNN: Why THD Format Reverts to SM80 on Hopper GPUs再び着手できるかも @cyanguwa が 246 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンquestion
NVIDIA/TransformerEngine#2616 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
[PyTorch] Torch.compile support再び着手できるかも @pggPL が 266 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンenhancement
NVIDIA/TransformerEngine#2590 · コメント 12 件 · リアクション 2 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
build jax
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
NVIDIA/TransformerEngine#2571 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
最新の 100 件のみ表示しています
このページには最近登録されたものだけが並びます。全件は詳細フィルターにあり、言語・難易度・所要時間で絞り込めます。