lm-sys/FastChat

Chat Arena version of fastchat-t5-3b-v1.0 provides more refined answers than standard Huggingface model.

Aperta

#1264 aperta il 15 mag 2023

Vedi su GitHub
 (26 commenti) (3 reazioni) (1 assegnatario)Python (4736 fork)batch import
documentationgood first issuequestion

Metriche repository

Star
 (38.959 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Hello - I notice that the chat arena version of fastchat-t5-3b-v1.0 provides quite different answers from the model compared to when it is downloaded manually and run using fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0. What is the reason for this difference? Are there any special prompt templates or prompt tuning that gives the chat arena version its better responses?

Guida contributor

Direzione di ricerca
Confronta i modelli di prompt e i parametri di generazione utilizzati in Chat Arena con quelli della CLI standard. Controlla la configurazione del modello e eventuali modifiche personalizzate.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonHuggingface Transformers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60