两张v100部署失败
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
まず、報告されている Python、CUDA、PyTorch、およびモデルのバージョンを使って moss_cli_demo.py のコマンドを再現します。235、401、607 行付近の models/modeling_moss.py にあるモデル構築パスを、fp16 pow および GPU out-of-memory のトレースと併せて調査します。再現可能な原因を特定し、2 GPU で動作するデプロイパスを文書化または検証できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
本人环境
两张v100（32G*2）
cuda11.0
pytorch版本 1.7.1
由于pytorch版本比较低，无法支持量化版本，所以选择部署fnlp/moss-moon-003-sft这个模型，但是fp16精度会报以下错
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/tensor.py", line 547, in __rpow__
return torch.tensor(other, dtype=dtype, device=self.device) ** self
RuntimeError: "pow" not implemented for 'Half'
所以只好改成
raw_model = MossForCausalLM._from_config(config, torch_dtype=torch.float32)
运行
python moss_cli_demo.py --model_name fnlp/moss-moon-003-sft --gpu 0,2
报错如下
Traceback (most recent call last):
File "moss_cli_demo.py", line 48, in <module>
raw_model = MossForCausalLM._from_config(config, torch_dtype=torch.float32)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/transformers/modeling_utils.py", line 1024, in _from_config
model = cls(config, **kwargs)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 607, in __init__
self.transformer = MossModel(config)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 401, in __init__
self.h = nn.ModuleList([MossBlock(config) for _ in range(config.n_layer)])
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 401, in <listcomp>
self.h = nn.ModuleList([MossBlock(config) for _ in range(config.n_layer)])
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 256, in __init__
self.mlp = MossMLP(inner_dim, config)
File "/data_a/keke/workspace/MOSS/models/modeling_moss.py", line 235, in __init__
self.fc_in = nn.Linear(embed_dim, intermediate_size)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/nn/modules/linear.py", line 78, in __init__
self.weight = Parameter(torch.Tensor(out_features, in_features))
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/torch/nn/modules/module.py", line 796, in __setattr__
self.register_parameter(name, value)
File "/root/anaconda3/envs/mossgpu/lib/python3.8/site-packages/accelerate/big_modeling.py", line 108, in register_empty_parameter
module._parameters[name] = param_cls(module._parameters[name].to(device), **kwargs)
RuntimeError: CUDA out of memory. Tried to allocate 576.00 MiB (GPU 0; 31.75 GiB total capacity; 30.01 GiB already allocated; 548.00 MiB free; 30.02 GiB reserved in total by PyTorch)
请问有大神知道怎么调么
- 主要言語
- Python
- スター
- 12.3k
- フォーク
- 1.1k
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenMOSS/MOSS のほかの issue
-
windows的生成速度真的慢到令人发指オープン
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
-
version?オープン
難易度 4/5 3〜5日 初心者へのやさしさ 20/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 30/100
-
moss为什么不更新了オープン
難易度 5/5 1週間以上 初心者へのやさしさ 10/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
似ている issue
-
python triage
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
microsoft/semantic-kernel#14590 ·
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
pinterest/pymemcache#662 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 半日 初心者へのやさしさ 62/100
gnocchixyz/gnocchi#1527 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
tenstorrent/tt-model-manager#181 ·
メンテナーはふだん 1 日以内に返信