how to run fnlp/moss-base-7b in multi gpus
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
Issue の Python 例から始め、特に CUDA_VISIBLE_DEVICES の設定と AutoModelForCausalLM.from_pretrained(...).cuda() のエントリーポイントを確認してください。読み込まれたモデルと生成された入力が、選択した GPU 間にどのように配置されるかを検証してください。完了条件は、例が正常に実行され、両方の GPU を使用していることが明確に確認できることです。
索引モデルが issue の本文から書いたものです。
説明
how to run fnlp/moss-base-7b in multi gpus, i use this way:
from transformers import AutoTokenizer, AutoModelForCausalLM
os.environ['CUDA_VISIBLE_DEVICES'] = "0,1"
tokenizer = AutoTokenizer.from_pretrained("fnlp/moss-base-7b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("fnlp/moss-base-7b", trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["流浪地球的导演是"], return_tensors="pt")
for k,v in inputs.items():
inputs[k] = v.cuda()
outputs = model.generate(**inputs, do_sample=True, temperature=0.8, top_p=0.8, repetition_penalty=1.1, max_new_tokens=256)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)
however it didn't use. Could you please give me some advice?
- 主要言語
- Python
- スター
- 12.3k
- フォーク
- 1.1k
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenMOSS/MOSS のほかの issue
-
windows的生成速度真的慢到令人发指オープン
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
-
version?オープン
難易度 4/5 3〜5日 初心者へのやさしさ 20/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 30/100
-
moss为什么不更新了オープン
難易度 5/5 1週間以上 初心者へのやさしさ 10/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
mishraprafful/multihull#150 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
python-caldav/caldav#735 ·
メンテナーはふだん 1 日以内に返信
-
bug triage
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
mealie-recipes/mealie#8682 ·
メンテナーはふだん 1 日以内に返信
-
good first issue lane:repo
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100