如何多卡merge合并？
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- machine-learning
Piste de recherche
Commencez par reproduire les commandes de merge signalées, NPROC_PER_NODE=2 xtuner convert merge et CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge, en utilisant la configuration Llama3-70B et les captures d’écran de l’erreur comme référence. Suivez le point d’entrée de xtuner convert merge et déterminez pourquoi plusieurs GPUs ne sont pas utilisés. La tâche est terminée lorsque le merge s’effectue sur deux GPUs A800-80G sans manquer de mémoire.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
【正确】在微调llama3-70B的时候，可以双卡微调，两张A800-80G足够。
【错误】但进行merge合并时，无法多卡合并，只能单卡合并，因此显存不足，执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。
【错误图片】
【显存图片】
- Langage dominant
- Python
- Étoiles
- 2k
- Forks
- 1.5k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de InternLM/Tutorial
-
ch2_python_intro.md 中逻辑运算符示例有错 Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 85/100
-
ch2_python_intro.md 中集合的定义有错 Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 65/100
-
使用100%A100运行报错 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
-
test Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 1/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
Toutes les issues de InternLM/Tutorial
Issues similaires
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
stephrobert/dsoxlab#238 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
sublimehq/package_control#1780 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
nwg-piotr/nwg-displays#145 ·