lm-sys/FastChat

Chat Arena version of fastchat-t5-3b-v1.0 provides more refined answers than standard Huggingface model.

Offen

#1.264 geöffnet am 15.05.2023

Auf GitHub ansehen
 (26 Kommentare) (3 Reaktionen) (1 zugewiesene Person)Python (4.736 Forks)batch import
documentationgood first issuequestion

Repository-Metriken

Stars
 (38.959 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Hello - I notice that the chat arena version of fastchat-t5-3b-v1.0 provides quite different answers from the model compared to when it is downloaded manually and run using fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0. What is the reason for this difference? Are there any special prompt templates or prompt tuning that gives the chat arena version its better responses?

Contributor Guide

Research-Richtung
Vergleichen Sie die Prompt Vorlagen und Generierungsparameter, die in Chat Arena verwendet werden, mit denen der Standard CLI. Überprüfen Sie die Modellkonfiguration und alle benutzerdefinierten Änderungen.
Tech Stack
python
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonHuggingface Transformers
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60