如何多卡merge合并？
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Bug
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- python
- Domínio
- machine-learning
Direção de pesquisa
Comece reproduzindo os comandos de merge relatados, NPROC_PER_NODE=2 xtuner convert merge e CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge, usando a configuração do Llama3-70B e as capturas de tela do erro como referência. Rastreie o ponto de entrada de xtuner convert merge e determine por que várias GPUs não são usadas. A tarefa estará concluída quando o merge for concluído usando duas GPUs A800-80G sem ficar sem memória.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
【正确】在微调llama3-70B的时候，可以双卡微调，两张A800-80G足够。
【错误】但进行merge合并时，无法多卡合并，只能单卡合并，因此显存不足，执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。
【错误图片】
【显存图片】
- Linguagem predominante
- Python
- Estrelas
- 2k
- Forks
- 1.5k
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de InternLM/Tutorial
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 85/100
-
ch2_python_intro.md 中集合的定义有错 Aberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 65/100
-
使用100%A100运行报错 Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
-
test Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 1/100
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
Todas as issues de InternLM/Tutorial
Issues semelhantes
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 90/100
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
huggingface/Repo2RLEnv#163 · 1 comentário ·
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
NousResearch/hermes-agent#121143 ·