如何多卡merge合并？
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 35/100
- Issue 類型
- 缺陷
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- python
研究方向
首先，使用 Llama3-70B 設定和錯誤截圖作為參考，重現回報的合併命令 NPROC_PER_NODE=2 xtuner convert merge 和 CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge。追蹤 xtuner convert merge 的進入點，並判斷為什麼沒有使用多張 GPU。完成的標準是合併作業能跨兩張 A800-80G GPU 完成，且不會發生記憶體不足。
由索引模型根據 Issue 內容生成。
描述
【正确】在微调llama3-70B的时候，可以双卡微调，两张A800-80G足够。
【错误】但进行merge合并时，无法多卡合并，只能单卡合并，因此显存不足，执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。
【错误图片】
【显存图片】
- 主要語言
- Python
- 星號
- 2k
- 分支
- 1.5k
- PR 合併指標
- 30 天內沒有已合併 PR
貢獻指南
這個儲存庫沒有索引到貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
InternLM/Tutorial 的其他 Issue
-
難度 1/5 1 小時以內 新手友好度 85/100
-
難度 1/5 1 小時以內 新手友好度 65/100
-
使用100%A100运行报错 未關閉
難度 4/5 3-5 天 新手友好度 30/100
-
test 未關閉
難度 5/5 一週以上 新手友好度 1/100
-
難度 5/5 一週以上 新手友好度 20/100
查看 InternLM/Tutorial 的全部 Issue
相似的 Issue
-
bug
難度 2/5 1-3 小時 新手友好度 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
難度 1/5 1 小時以內 新手友好度 90/100
-
難度 2/5 1-3 小時 新手友好度 70/100
huggingface/Repo2RLEnv#163 · 1 則留言 ·
-
難度 1/5 1 小時以內 新手友好度 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
難度 2/5 1-3 小時 新手友好度 70/100
NousResearch/hermes-agent#121143 ·