lm-sys/FastChat

[BUG] RWKV Models are not configured to use Cuda GPU lists.

Open

#1248 aperta il 15 mag 2023

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (4736 fork)batch import
buggood first issue

Metriche repository

Star
 (38.959 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hello,

The file (fastchat/model/rwkv_model.py) has a RWKV stratergy (strategy="cuda fp16") being set that is not imlemented to use the native --gpus or --num-gpus fschat command arguments.

Example, Launching a model worker with (--num-gpus 4 --gpus 0,1,2,3) does not spawn the RWKV instance with these GPU specifications and just uses GPU 1

strategy="cuda fp16"

VS.

strategy="cuda:0 fp16 -> cuda:1 fp16 -> cuda:2 fp16 -> cuda:3 fp16 -> cuda:4 fp16"

Guida contributor

Direzione di ricerca
Modifica la costruzione della stringa di strategia in rwkv model.py per rispettare gli argomenti gpus e num gpus.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70