Performance bottleneck in TransformerLayer and Attention when using attention mask

I maintainer di solito rispondono entro 2 giorni

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

Describe the bug

Dear Nvidia experts,

When attention mask is used, these three lines will cause very significant slow down since they are looping over all the items in the batch.

Performance bottleneck in TransformerLayer and Attention.

function get_indices

assertion the type of attention mask

similarly another assertion the type of attention mask

See below for profiling trace:

As you can see from the largest bar from the bottom rows, operations taking most of the time in each transformer is now transformer_engine/pytorch/attention/dot_product_attention/utils.py(1518): get_indices, Similarly the other two assertion is also cause significant slow down.

Steps/Code to reproduce bug

This problem should manifest in any profiling run with data that have attention mask in the input of forward()

Expected behavior

Multiple times of slow down when calling forward of TransformerLayer.

Preparare l'ambiente

Come iniziare

1. Leggi tutta la issue e poi la guida ai contributi del progetto.
2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
3. Fai un fork del repository e lavora su un branch.
4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di NVIDIA/TransformerEngine

• [PyTorch] fp8_cs_quantize fake implementation returns a vector inverse scale instead of a scalar

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100

  NVIDIA/TransformerEngine#3636 · Aperta il 6/10/2026

  I maintainer di solito rispondono entro 2 giorni

• [Bug] Backend selection picks FA3 for training with head_dim_qk=192 / v_head_dim=128, but FA3 backward cannot run it

  Forse già presa @yuweih205 l’ha presa 31 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  attention

  Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100

  NVIDIA/TransformerEngine#3481 · 4 commenti · Aperta il 4/9/2026

  I maintainer di solito rispondono entro 2 giorni

• Increase MAX_TENSOR_NUM

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

  NVIDIA/TransformerEngine#2189 · 7 commenti · 5 reazioni · Aperta il 19/9/2025

  I maintainer di solito rispondono entro 2 giorni

• [PyTorch] CUDA graph RNG registration floods training logs on automatic-registration builds

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 50/100

  NVIDIA/TransformerEngine#3645 · Aperta il 7/10/2026

  I maintainer di solito rispondono entro 2 giorni

• Support exporting MXFP8 values and scales from TE quantized tensors

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  enhancement

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  NVIDIA/TransformerEngine#3644 · Aperta il 7/10/2026

  I maintainer di solito rispondono entro 2 giorni

Tutte le issue di NVIDIA/TransformerEngine

Issue simili

• `list_eval_logs()` and the dataframe functions ignore `INSPECT_LOG_DIR` set after import

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  UKGovernmentBEIS/inspect_ai#5781 · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 2 giorni

• Bump .cicd to wamp-cicd 4c2f9ac: `just land` refuses open A18 decisions, `just where` lists them

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100

  crossbario/cfxdb#139 · Aperta il 8/10/2026

• Bump .cicd to wamp-cicd 4c2f9ac: `just land` refuses open A18 decisions, `just where` lists them

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100

  crossbario/txaio#241 · Aperta il 8/10/2026

• [HONESTY] Populated Radar with a failed source shows no disclosure (partial render reads as complete) — follow-up to #1889

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  UX

  Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100

  mediajunkie/piper-morgan-product#1963 · Aperta il 8/10/2026

• Missing `top_level.txt` causing erroneous warning in pycharm

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100

  jazzband/docopt-ng#80 · Aperta il 8/10/2026

Altre issue su Python