如何多卡merge合并？
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Bug
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- machine-learning
Rechercherichtung
Beginne damit, die gemeldeten Merge-Befehle NPROC_PER_NODE=2 xtuner convert merge und CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge mithilfe des Llama3-70B-Setups und der Fehler-Screenshots als Referenz nachzustellen. Verfolge den Einstiegspunkt von xtuner convert merge und ermittle, warum mehrere GPUs nicht verwendet werden. Als abgeschlossen gilt die Aufgabe, wenn der Merge über zwei A800-80G-GPUs hinweg ohne Speichermangel abgeschlossen wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
【正确】在微调llama3-70B的时候，可以双卡微调，两张A800-80G足够。
【错误】但进行merge合并时，无法多卡合并，只能单卡合并，因此显存不足，执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。
【错误图片】
【显存图片】
- Vorherrschende Sprache
- Python
- Sterne
- 2k
- Forks
- 1.5k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus InternLM/Tutorial
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 65/100
-
使用100%A100运行报错 Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
-
test Offen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 1/100
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
Alle Issues in InternLM/Tutorial
Ähnliche Issues
-
area: harness bug status: needs-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
Human-Agent-Society/reef#625 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 80/100
learningequality/kolibri#15351 · 2 Kommentare ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
-
Name consistency Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
eellak/triplestore#65 · 1 Kommentar ·