两张v100部署失败
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- machine-learning
Línea de trabajo
Empieza reproduciendo el comando de moss_cli_demo.py con las versiones indicadas de Python, CUDA, PyTorch y del modelo. Inspecciona las rutas de construcción del modelo en models/modeling_moss.py alrededor de las líneas 235, 401 y 607, junto con los trazos de fp16 pow y GPU out-of-memory. Se considera terminado cuando se haya identificado una causa reproducible y se haya documentado o verificado una ruta funcional de despliegue con dos GPU.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
本人环境
两张v100（32G*2）
cuda11.0
pytorch版本 1.7.1
由于pytorch版本比较低，无法支持量化版本，所以选择部署fnlp/moss-moon-003-sft这个模型，但是fp16精度会报以下错
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/tensor.py", line 547, in __rpow__
return torch.tensor(other, dtype=dtype, device=self.device) ** self
RuntimeError: "pow" not implemented for 'Half'
所以只好改成
raw_model = MossForCausalLM._from_config(config, torch_dtype=torch.float32)
运行
python moss_cli_demo.py --model_name fnlp/moss-moon-003-sft --gpu 0,2
报错如下
Traceback (most recent call last):
File "moss_cli_demo.py", line 48, in <module>
raw_model = MossForCausalLM._from_config(config, torch_dtype=torch.float32)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/transformers/modeling_utils.py", line 1024, in _from_config
model = cls(config, **kwargs)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 607, in __init__
self.transformer = MossModel(config)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 401, in __init__
self.h = nn.ModuleList([MossBlock(config) for _ in range(config.n_layer)])
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 401, in <listcomp>
self.h = nn.ModuleList([MossBlock(config) for _ in range(config.n_layer)])
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 256, in __init__
self.mlp = MossMLP(inner_dim, config)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 235, in __init__
self.fc_in = nn.Linear(embed_dim, intermediate_size)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/nn/modules/linear.py", line 78, in __init__
self.weight = Parameter(torch.Tensor(out_features, in_features))
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/nn/modules/module.py", line 796, in __setattr__
self.register_parameter(name, value)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/accelerate/big_modeling.py", line 108, in register_empty_parameter
module._parameters[name] = param_cls(module._parameters[name].to(device), **kwargs)
RuntimeError: CUDA out of memory. Tried to allocate 576.00 MiB (GPU 0; 31.75 GiB total capacity; 30.01 GiB already allocated; 548.00 MiB free; 30.02 GiB reserved in total by PyTorch)
请问有大神知道怎么调么
- Lenguaje dominante
- Python
- Estrellas
- 12.3k
- Forks
- 1.1k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenMOSS/MOSS
-
windows的生成速度真的慢到令人发指Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
version?Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
-
moss为什么不更新了Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
-
moss-moon-003-sft Jupyter测试失败Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
Todos los issues de OpenMOSS/MOSS
Issues similares
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
gradio-app/gradio#13964 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 93/100
BSData/horus-heresy-3rd-edition#3232 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
jbacalso24/mimry#123 ·
Los mantenedores suelen responder en 1 día
-
p:3-mid pydanty:bug pydanty:is-working
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
pydantic/pydantic-ai#10153 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
good first issue priority: medium size: S testing
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
cubrid-lab/cubrid-cookbook-python#316 ·
Los mantenedores suelen responder en 1 día