lm-sys/FastChat

Add MOSS as a candidate?

Aperta

#828 aperta il 4 mag 2023

Vedi su GitHub
 (2 commenti) (8 reazioni) (0 assegnatari)Python (4736 fork)batch import
good first issue

Metriche repository

Star
 (38.959 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Recently, MOSS was open-sourced and showed attractive performance. The size of MOSS is 16B and MOSS seems to be a good candidate in the leaderboard.

Guida contributor

Direzione di ricerca
Per aggiungere MOSS, esamina prima come i modelli esistenti come Vicuna sono integrati nella codebase di FastChat, in particolare nei moduli di registrazione e servizio dei modelli (ad esempio `fastchat/model/model registry.py`). Quindi, implementa un wrapper per MOSS seguendo la stessa interfaccia e aggiungilo allo script di valutazione della classifica situato in `fastchat/eval/`. Assicurati che il modello possa essere caricato e servito correttamente. Infine, apri una pull request che fa riferimento a questo issue e testa l'integrazione con prompt di esempio.
Tech stack
python
Dominio
aibackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70