ShishirPatil/gorilla

[Apibench] Resume interrupted LLM generations from last generation

Aberta

#484 aberto em 24 de jun. de 2024

Ver no GitHub
 (1 comentário) (0 reação) (0 responsável)Python (1.399 forks)batch import
apibench-datagood first issue

Métricas do repositório

Stars
 (13.001 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Describe the issue When we try to launch LLM generations on APIBench, if the generation is interrupted midway, currently the partial file is deleted and restart generation from start. What we should instead do is check where the generation stopped and resume from the last generated index. This is specially critical for large models where generation can take >1 hours.

ID datapoint 2. Provider: This affects all 3: TorchHub/HuggingFace/PyTorch Hub

File that needs to be edited: https://github.com/ShishirPatil/gorilla/blob/main/eval/get_llm_responses.py

Guia do colaborador

Direção de pesquisa
Inspecione get llm responses.py para detectar onde a geração foi interrompida e implemente a lógica para retomar do último índice bem sucedido em vez de recomeçar.
Pilha de tecnologia
python
Domain
aibackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75