Silently slower attention kernel when training MiniMax-H3 LoRA on B200
Les mainteneurs répondent en général sous 1 jour
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 55/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- python
- Domaine
- machine-learning, performance
Piste de recherche
Commencez par examples/minimax_h3/model_training/lora/MiniMax-H3-FL2VA.sh à l'étape 2, le README d'installation et l'expérience documentée dans #1680. Reproduisez le choix d'implémentation de l'attention avec DIFFSYNTH_ATTENTION_IMPLEMENTATION=torch et inspectez le chemin existant de journalisation ou de sélection. C'est terminé lorsque l'implémentation sélectionnée est visible pour les utilisateurs ou que les instructions d'installation empêchent clairement le ralentissement silencieux.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
I ran the repo's MiniMax-H3 LoRA training example (examples/minimax_h3/model_training/lora/MiniMax-H3-FL2VA.sh, stage 2) on 8x B200, following the installation README, and got 6.32 s per training step. A profile showed attention running on the FA2 kernel, which is an sm80-era design and much slower on this GPU than torch SDPA's cuDNN backend. With the kernel switched, the same step took 3.80 s. Nothing in the logs said which implementation had been picked, so I only found it by profiling.
Setting DIFFSYNTH_ATTENTION_IMPLEMENTATION=torch avoids this, as @mi804 noted in #1680. A line in the install docs, or a one-line log of the chosen implementation at import, would have saved me the profile.
I opened #1680 to record my experiment: setup, measurements, traces and some potential fixes. A different fix may also well suit the codebase.
- Langage dominant
- Python
- Étoiles
- 13.2k
- Forks
- 1.3k
- Merge moyen
- 12 h 52 min
- PR mergées (30 j)
- 20
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de modelscope/DiffSynth-Studio
-
WanToDance: hardcoded `device='cuda'` in music encoder construction crashes model loading on Ascend NPUPeut-être pris @li-lizhe l’a pris il y a 16 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
modelscope/DiffSynth-Studio#1707 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Partial download surfaces as "Cannot detect the model type" rather than a download errorPeut-être pris @MohammadHijjawi97 l’a pris il y a 14 jours. Ouverte
Difficulté 1/5 1-3 heures Accessibilité débutants 78/100
modelscope/DiffSynth-Studio#1668 ·
Les mainteneurs répondent en général sous 1 jour
-
bfloat16训练时段错误: 数组越界的一种方案Peut-être à nouveau libre Une pull request pour cette issue a été fermée sans être fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
modelscope/DiffSynth-Studio#1499 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Latest update broke Wan2.2 S2VOuverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 78/100
modelscope/DiffSynth-Studio#1373 · 5 commentaires · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 8/100
modelscope/DiffSynth-Studio#1735 · 6 commentaires ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de modelscope/DiffSynth-Studio
Issues similaires
-
enhancement good first issue Stellar Wave trivial
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
StellarCanary/ProtocolCanary-Fixtures#258 ·
Les mainteneurs répondent en général sous 1 jour
-
github_actions
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
Hochfrequenz/aibap.mcp#578 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
mishraprafful/multihull#150 ·
Les mainteneurs répondent en général sous 1 jour
-
mp: /status reports the server class name as engine_type, not the configured enginePeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
python-caldav/caldav#735 ·
Les mainteneurs répondent en général sous 1 jour