如何多卡merge合并？
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Inizia riproducendo i comandi di merge segnalati, NPROC_PER_NODE=2 xtuner convert merge e CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge, usando come riferimento la configurazione Llama3-70B e gli screenshot dell'errore. Segui l'entry point di xtuner convert merge e determina perché non vengono utilizzate più GPU. Il lavoro è completato quando il merge termina su due GPU A800-80G senza esaurire la memoria.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
【正确】在微调llama3-70B的时候，可以双卡微调，两张A800-80G足够。
【错误】但进行merge合并时，无法多卡合并，只能单卡合并，因此显存不足，执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。
【错误图片】
【显存图片】
- Lingua principale
- Python
- Stelle
- 2k
- Fork
- 1.5k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di InternLM/Tutorial
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
-
ch2_python_intro.md 中集合的定义有错 Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
-
使用100%A100运行报错 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
-
test Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 1/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
Tutte le issue di InternLM/Tutorial
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
huggingface/Repo2RLEnv#163 · 1 commento ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
NousResearch/hermes-agent#121143 ·