A800 训 DSv4-Flash OOM：CSA 无 SM80 kernel，求绕过方案
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- machine-learning, performance
Direzione di ricerca
Inizia tracciando il percorso fuso di CSA usando flash_mla e cuDNN DSA, quindi confrontalo con l’implementazione di riferimento non fusa descritta nel report. Conferma il comportamento della memoria su hardware A800 o A100 con le lunghezze di sequenza riportate; il lavoro è completato quando l’SFT di DSv4-Flash con tutti i parametri viene completato senza un OOM.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Checklist / 检查清单
- I have searched existing issues, and this is a new question or discussion topic. / 我已经搜索过现有的 issues，确认这是一个新的问题与讨论。
Question Description / 问题描述
在 A800 *56 上用 megatron-swift 跑 DSv4-Flash 全参 SFT，第一个 forward 就直接 OOM，跟 MAX_LEN 设多少没关系（65k 到 8k 全挂）。排查下来根因是 CSA 模块：fused 路径绑死了 flash_mla + cuDNN DSA，只支持 SM90+；unfused 参考实现又是 O(n²×d) 的显存复杂度，8192 长度下光中间张量就要 55GB+，加上模型权重直接撑爆 80G 显存。同环境跑 HunyuanV3 完全没事，因为是标准 GQA 走 FlashAttention。所以这本质不是并行策略或序列长度的问题，而是 V4-Flash 的 CSA 在设计上就脱离了 Ampere 生态。想问下如何在 A800/A100 上成功跑通过这个；或者是否有其他方案
- Lingua principale
- Python
- Stelle
- 16k
- Fork
- 1.8k
- Merge medio
- 2g 4h
- PR unite (30g)
- 72
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di modelscope/ms-swift
-
`cosine` reward wraps around and `soft_overlong` drops below -1 when a completion is longer than its max length, which multi-turn rollouts now reachForse già presa @YueshenZ l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
modelscope/ms-swift#10498 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] `get_seed` consumes a draw from the shared RandomState even when decision augmentation is disabled, changing the train/val split and dataset shuffleForse già presa @ryznren l’ha presa 5 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
modelscope/ms-swift#10466 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] `swift --help` raises KeyError instead of showing CLI helpForse già presa @haahy l’ha presa 31 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
modelscope/ms-swift#10287 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] find_free_port() reports the last busy port as free when its scan window is exhaustedForse già presa @Lesereingrape l’ha presa 35 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
modelscope/ms-swift#10263 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
modelscope/ms-swift#10095 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di modelscope/ms-swift
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
unionai-oss/pandera#2640 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
JdeRobot/RoboticsInfrastructure#843 ·
I maintainer di solito rispondono entro 1 giorno
-
automated endpoint-dead needs-curation
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
almanac-data/climate-almanac#122 ·
I maintainer di solito rispondono entro 1 giorno
-
area:harness enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
evarness-ai/iris-harness#420 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
suitenumerique/find#206 ·
I maintainer di solito rispondono entro 2 giorni