how to run fnlp/moss-base-7b in multi gpus
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- machine-learning
Piste de recherche
Commencez par l’exemple Python de l’issue, en particulier le paramètre CUDA_VISIBLE_DEVICES et le point d’entrée AutoModelForCausalLM.from_pretrained(...).cuda(). Vérifiez comment le modèle chargé et les entrées générées sont répartis entre les GPU sélectionnés ; le travail est considéré comme terminé lorsque l’exemple s’exécute correctement et utilise de manière démontrable les deux GPU.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
how to run fnlp/moss-base-7b in multi gpus, i use this way:
from transformers import AutoTokenizer, AutoModelForCausalLM
os.environ['CUDA_VISIBLE_DEVICES'] = "0,1"
tokenizer = AutoTokenizer.from_pretrained("fnlp/moss-base-7b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("fnlp/moss-base-7b", trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["流浪地球的导演是"], return_tensors="pt")
for k,v in inputs.items():
inputs[k] = v.cuda()
outputs = model.generate(**inputs, do_sample=True, temperature=0.8, top_p=0.8, repetition_penalty=1.1, max_new_tokens=256)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)
however it didn't use. Could you please give me some advice?
- Langage dominant
- Python
- Étoiles
- 12.3k
- Forks
- 1.1k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de OpenMOSS/MOSS
-
windows的生成速度真的慢到令人发指Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 38/100
-
version?Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 20/100
-
Difficulté 3/5 1-2 jours Accessibilité débutants 30/100
-
moss为什么不更新了Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 10/100
-
moss-moon-003-sft Jupyter测试失败Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
Toutes les issues de OpenMOSS/MOSS
Issues similaires
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 65/100
521xueweihan/HelloGitHub#4025 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
aws-samples/sample-per-model-bedrock#321 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 1-3 heures Accessibilité débutants 68/100
FavioVazquez/showtime#101 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
koush/ha_scrypted#81 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
google/osv-scanner-action#147 ·