如何多卡merge合并？
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- python
调研方向
首先，使用 Llama3-70B 配置和错误截图作为参考，复现报告中的合并命令 NPROC_PER_NODE=2 xtuner convert merge 和 CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge。跟踪 xtuner convert merge 的入口点，并确定为什么没有使用多个 GPU。完成的标准是合并过程能够跨两张 A800-80G GPU 完成且不会出现内存不足。
由索引模型根据 Issue 内容生成。
描述
【正确】在微调llama3-70B的时候，可以双卡微调，两张A800-80G足够。
【错误】但进行merge合并时，无法多卡合并，只能单卡合并，因此显存不足，执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。
【错误图片】
【显存图片】
- 主要语言
- Python
- 星标
- 2k
- 派生
- 1.5k
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
InternLM/Tutorial 的其他 Issue
-
难度 1/5 1 小时以内 新手友好度 85/100
-
难度 1/5 1 小时以内 新手友好度 65/100
-
使用100%A100运行报错 未关闭
难度 4/5 3-5 天 新手友好度 30/100
-
test 未关闭
难度 5/5 一周以上 新手友好度 1/100
-
难度 5/5 一周以上 新手友好度 20/100
查看 InternLM/Tutorial 的全部 Issue
相似的 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
难度 1/5 1 小时以内 新手友好度 90/100
-
难度 2/5 1-3 小时 新手友好度 70/100
huggingface/Repo2RLEnv#163 · 1 条评论 ·
-
难度 1/5 1 小时以内 新手友好度 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
难度 2/5 1-3 小时 新手友好度 70/100
NousResearch/hermes-agent#121143 ·