microsoft/lida

Evaluation of HF Models with LIDA

Aberta

#41 aberto em 18 de set. de 2023

Ver no GitHub
 (9 comentários) (1 reação) (0 responsável)Jupyter Notebook (378 forks)github user discovery
enhancementgood first issue

Métricas do repositório

Stars
 (3.253 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

What

Local models (e.g. LLAMA based models available via HuggingFace in the 7B or 13B size classes) offer multiple benefits (e.g., can be finetuned/adapted, run locally etc). While LIDA has been mostly tested with OpenAI models, more work is needed to test workflows and performance for HF models.

Work Items

  • Test a set of local HF models either directly with llmx or with LIDA, systematically document bugs and suggest fixes via PRs

Guia do colaborador

Direção de pesquisa
Teste modelos HuggingFace com LIDA, documente bugs e sugira correções por meio de pull requests.
Pilha de tecnologia
python
Domain
machine learningaibackend
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonHuggingFace TransformersLIDA
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60