lm-sys/FastChat

[BUG] RWKV Models are not configured to use Cuda GPU lists.

Aberta

#1.248 aberto em 15 de mai. de 2023

Ver no GitHub
 (2 comentários) (0 reação) (0 responsável)Python (4.736 forks)batch import
buggood first issue

Métricas do repositório

Stars
 (38.959 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Hello,

The file (fastchat/model/rwkv_model.py) has a RWKV stratergy (strategy="cuda fp16") being set that is not imlemented to use the native --gpus or --num-gpus fschat command arguments.

Example, Launching a model worker with (--num-gpus 4 --gpus 0,1,2,3) does not spawn the RWKV instance with these GPU specifications and just uses GPU 1

strategy="cuda fp16"

VS.

strategy="cuda:0 fp16 -> cuda:1 fp16 -> cuda:2 fp16 -> cuda:3 fp16 -> cuda:4 fp16"

Guia do colaborador

Direção de pesquisa
Modifique a construção da string de estratégia em rwkv model.py para respeitar os argumentos gpus e num gpus.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70