ShishirPatil/gorilla

[Apibench] Resume interrupted LLM generations from last generation

Ouverte

#484 ouverte le 24 juin 2024

Voir sur GitHub
 (1 commentaire) (0 réaction) (0 personne assignée)Python (1 397 forks)batch import
apibench-datagood first issue

Métriques du dépôt

Stars
 (12 996 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Describe the issue When we try to launch LLM generations on APIBench, if the generation is interrupted midway, currently the partial file is deleted and restart generation from start. What we should instead do is check where the generation stopped and resume from the last generated index. This is specially critical for large models where generation can take >1 hours.

ID datapoint 2. Provider: This affects all 3: TorchHub/HuggingFace/PyTorch Hub

File that needs to be edited: https://github.com/ShishirPatil/gorilla/blob/main/eval/get_llm_responses.py

Guide contributeur

Direction de recherche
Inspectez get llm responses.py pour detecter ou la generation a ete interrompue et implementez la logique pour reprendre a partir du dernier indice reussi au lieu de recommencer.
Stack technique
python
Domaine
aibackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75