lm-sys/FastChat

Add MOSS as a candidate?

Aberta

#828 aberto em 4 de mai. de 2023

Ver no GitHub
 (2 comentários) (8 reações) (0 responsável)Python (4.736 forks)batch import
good first issue

Métricas do repositório

Stars
 (38.959 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Recently, MOSS was open-sourced and showed attractive performance. The size of MOSS is 16B and MOSS seems to be a good candidate in the leaderboard.

Guia do colaborador

Direção de pesquisa
Para adicionar o MOSS, primeiro examine como os modelos existentes, como o Vicuna, são integrados na base de código do FastChat, particularmente nos módulos de registro e serviço de modelos (por exemplo, `fastchat/model/model registry.py`). Em seguida, implemente um wrapper para o MOSS seguindo a mesma interface e adicione o ao script de avaliação do leaderboard localizado em `fastchat/eval/`. Certifique se de que o modelo possa ser carregado e servido corretamente. Por fim, abra um pull request referenciando esta issue e teste a integração com prompts de exemplo.
Pilha de tecnologia
python
Domain
aibackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitPython
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70