lm-sys/FastChat

Add MOSS as a candidate?

Ouverte

#828 ouverte le 4 mai 2023

Voir sur GitHub
 (2 commentaires) (8 réactions) (0 personne assignée)Python (4 736 forks)batch import
good first issue

Métriques du dépôt

Stars
 (38 959 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Recently, MOSS was open-sourced and showed attractive performance. The size of MOSS is 16B and MOSS seems to be a good candidate in the leaderboard.

Guide contributeur

Direction de recherche
Pour ajouter MOSS, examinez d'abord comment les modèles existants comme Vicuna sont intégrés dans la base de code FastChat, en particulier dans les modules d'enregistrement et de service des modèles (par exemple `fastchat/model/model registry.py`). Ensuite, implémentez un wrapper pour MOSS suivant la même interface et ajoutez le au script d'évaluation du classement situé dans `fastchat/eval/`. Assurez vous que le modèle peut être chargé et servi correctement. Enfin, ouvrez une pull request référençant cette issue et testez l'intégration avec des invites d'exemple.
Stack technique
python
Domaine
aibackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitPython
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70