两张v100部署失败
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
调研方向
首先，使用报告中的 Python、CUDA、PyTorch 和模型版本复现 moss_cli_demo.py 中的命令。检查 models/modeling_moss.py 中第 235、401 和 607 行附近的模型构建路径，并结合 fp16 pow 和 GPU out-of-memory 跟踪信息进行分析。完成标准是确定一个可复现的原因，并记录或验证一条可正常工作的双 GPU 部署路径。
由索引模型根据 Issue 内容生成。
描述
本人环境
两张v100（32G*2）
cuda11.0
pytorch版本 1.7.1
由于pytorch版本比较低，无法支持量化版本，所以选择部署fnlp/moss-moon-003-sft这个模型，但是fp16精度会报以下错
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/tensor.py", line 547, in __rpow__
return torch.tensor(other, dtype=dtype, device=self.device) ** self
RuntimeError: "pow" not implemented for 'Half'
所以只好改成
raw_model = MossForCausalLM._from_config(config, torch_dtype=torch.float32)
运行
python moss_cli_demo.py --model_name fnlp/moss-moon-003-sft --gpu 0,2
报错如下
Traceback (most recent call last):
File "moss_cli_demo.py", line 48, in <module>
raw_model = MossForCausalLM._from_config(config, torch_dtype=torch.float32)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/transformers/modeling_utils.py", line 1024, in _from_config
model = cls(config, **kwargs)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 607, in __init__
self.transformer = MossModel(config)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 401, in __init__
self.h = nn.ModuleList([MossBlock(config) for _ in range(config.n_layer)])
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 401, in <listcomp>
self.h = nn.ModuleList([MossBlock(config) for _ in range(config.n_layer)])
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 256, in __init__
self.mlp = MossMLP(inner_dim, config)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 235, in __init__
self.fc_in = nn.Linear(embed_dim, intermediate_size)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/nn/modules/linear.py", line 78, in __init__
self.weight = Parameter(torch.Tensor(out_features, in_features))
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/nn/modules/module.py", line 796, in __setattr__
self.register_parameter(name, value)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/accelerate/big_modeling.py", line 108, in register_empty_parameter
module._parameters[name] = param_cls(module._parameters[name].to(device), **kwargs)
RuntimeError: CUDA out of memory. Tried to allocate 576.00 MiB (GPU 0; 31.75 GiB total capacity; 30.01 GiB already allocated; 548.00 MiB free; 30.02 GiB reserved in total by PyTorch)
请问有大神知道怎么调么
- 主要语言
- Python
- 星标
- 12.3k
- 派生
- 1.1k
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenMOSS/MOSS 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 38/100
-
version?未关闭
难度 4/5 3-5 天 新手友好度 20/100
-
难度 3/5 1-2 天 新手友好度 30/100
-
moss为什么不更新了未关闭
难度 5/5 一周以上 新手友好度 10/100
-
难度 3/5 1-2 天 新手友好度 35/100
相似的 Issue
-
Workflow.schedule stops when a cron deadline passes before sleep可能已有人在做 @HuaTNA 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
[Bug] HiveDialect shares its colspecs dict with SQLAlchemy's DefaultDialect (python/pyhive)可能已有人在做 @rusackas 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 80/100
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 80/100
维护者通常 1 天内回复
-
[20.0] hr_work_entry: Duration column of Export Time Entries is truncated to whole hours可能已有人在做 @odooaktiv 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
fix formatting of the sample database page of the docs可能已有人在做 @Aaqibhafeezkhan 今天认领。 未关闭documentation good first issue help wanted
难度 1/5 1 小时以内 新手友好度 72/100
chaoss/CollectOSS#544 · 1 条评论 ·
维护者通常 1 天内回复