如何多卡merge合并？
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Empieza reproduciendo los comandos de merge reportados, NPROC_PER_NODE=2 xtuner convert merge y CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge, usando como referencia la configuración de Llama3-70B y las capturas de pantalla del error. Sigue el punto de entrada de xtuner convert merge y determina por qué no se utilizan varias GPUs. Se considerará completado cuando el merge finalice usando dos GPUs A800-80G sin quedarse sin memoria.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
【正确】在微调llama3-70B的时候，可以双卡微调，两张A800-80G足够。
【错误】但进行merge合并时，无法多卡合并，只能单卡合并，因此显存不足，执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。
【错误图片】
【显存图片】
- Lenguaje dominante
- Python
- Estrellas
- 2k
- Forks
- 1.5k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de InternLM/Tutorial
-
ch2_python_intro.md 中逻辑运算符示例有错 Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
ch2_python_intro.md 中集合的定义有错 Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 65/100
-
使用100%A100运行报错 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
-
test Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 1/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
Todos los issues de InternLM/Tutorial
Issues similares
-
[Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell Abiertoarea: harness bug status: needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Human-Agent-Society/reef#625 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 80/100
learningequality/kolibri#15351 · 2 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Name consistency Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
eellak/triplestore#65 · 1 comentario ·