lm-sys/FastChat

Chat Arena version of fastchat-t5-3b-v1.0 provides more refined answers than standard Huggingface model.

Open

#1,264 opened on 2023年5月15日

GitHub で見る
 (26 comments) (3 reactions) (1 assignee)Python (38,959 stars) (4,736 forks)batch import
documentationgood first issuequestion

説明

Hello - I notice that the chat arena version of fastchat-t5-3b-v1.0 provides quite different answers from the model compared to when it is downloaded manually and run using fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0. What is the reason for this difference? Are there any special prompt templates or prompt tuning that gives the chat arena version its better responses?

コントリビューターガイド

技術スタック
pythonpytorch
領域
machine learningai
Issue 種別
research
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
4
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3 hours
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
needs maintainer response
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
mostly clear
前提条件
PythonFastChat basicsPrompt engineering basics
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
30
調査方針
Investigate the differences between the Chat Arena version and standard Huggingface model of fastchat t5-3b v1.0. Check the FastChat source code for any special prompt templates or prompt tuning used in the arena mode (e.g., files like fastchat/serve/ or fastchat/train/). Look at the model card and any configuration differences. Consider the discussion in the issue comments for hints.