lm-sys/FastChat

[BUG] RWKV Models are not configured to use Cuda GPU lists.

Open

#1 248 ouverte le 15 mai 2023

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Python (4 736 forks)batch import
buggood first issue

Métriques du dépôt

Stars
 (38 959 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Hello,

The file (fastchat/model/rwkv_model.py) has a RWKV stratergy (strategy="cuda fp16") being set that is not imlemented to use the native --gpus or --num-gpus fschat command arguments.

Example, Launching a model worker with (--num-gpus 4 --gpus 0,1,2,3) does not spawn the RWKV instance with these GPU specifications and just uses GPU 1

strategy="cuda fp16"

VS.

strategy="cuda:0 fp16 -> cuda:1 fp16 -> cuda:2 fp16 -> cuda:3 fp16 -> cuda:4 fp16"

Guide contributeur

Direction de recherche
Modifiez la construction de la chaîne de stratégie dans rwkv model.py pour respecter les arguments gpus et num gpus.
Stack technique
python
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70