lm-sys/FastChat

Chat Arena version of fastchat-t5-3b-v1.0 provides more refined answers than standard Huggingface model.

Open

#1 264 ouverte le 15 mai 2023

Voir sur GitHub
 (26 commentaires) (3 réactions) (1 assigné)Python (38 959 stars) (4 736 forks)batch import
documentationgood first issuequestion

Description

Hello - I notice that the chat arena version of fastchat-t5-3b-v1.0 provides quite different answers from the model compared to when it is downloaded manually and run using fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0. What is the reason for this difference? Are there any special prompt templates or prompt tuning that gives the chat arena version its better responses?

Guide contributeur

Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
research
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 hours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
needs maintainer response
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
mostly clear
Prérequis
PythonFastChat basicsPrompt engineering basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30
Direction de recherche
Investigate the differences between the Chat Arena version and standard Huggingface model of fastchat t5-3b v1.0. Check the FastChat source code for any special prompt templates or prompt tuning used in the arena mode (e.g., files like fastchat/serve/ or fastchat/train/). Look at the model card and any configuration differences. Consider the discussion in the issue comments for hints.