how to run fnlp/moss-base-7b in multi gpus
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Bug
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- python
- Domínio
- machine-learning
Direção de pesquisa
Comece com o exemplo em Python na issue, especialmente a configuração de CUDA_VISIBLE_DEVICES e o ponto de entrada AutoModelForCausalLM.from_pretrained(...).cuda(). Verifique como o modelo carregado e as entradas geradas são distribuídos entre as GPUs selecionadas; considera-se concluído quando o exemplo é executado com sucesso e demonstra usar ambas as GPUs.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
how to run fnlp/moss-base-7b in multi gpus, i use this way:
from transformers import AutoTokenizer, AutoModelForCausalLM
os.environ['CUDA_VISIBLE_DEVICES'] = "0,1"
tokenizer = AutoTokenizer.from_pretrained("fnlp/moss-base-7b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("fnlp/moss-base-7b", trust_remote_code=True).cuda()
model = model.eval()
inputs = tokenizer(["流浪地球的导演是"], return_tensors="pt")
for k,v in inputs.items():
inputs[k] = v.cuda()
outputs = model.generate(**inputs, do_sample=True, temperature=0.8, top_p=0.8, repetition_penalty=1.1, max_new_tokens=256)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)
however it didn't use. Could you please give me some advice?
- Linguagem predominante
- Python
- Estrelas
- 12.3k
- Forks
- 1.1k
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de OpenMOSS/MOSS
-
windows的生成速度真的慢到令人发指Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 38/100
-
version?Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 20/100
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 30/100
-
moss为什么不更新了Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 10/100
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100
Todas as issues de OpenMOSS/MOSS
Issues semelhantes
-
bug P2 rust
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
Mantenedores costumam responder em até 1 dia
-
enhancement
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
jscott3201/rusty-bacnet#2085 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
evarness-ai/iris-harness#401 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
sistemicorp/scripts#62 ·
-
area/mac help wanted needs-qa
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 76/100