ShishirPatil/gorilla

[Apibench] Resume interrupted LLM generations from last generation

Aperta

#484 aperta il 24 giu 2024

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (1399 fork)batch import
apibench-datagood first issue

Metriche repository

Star
 (12.997 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Describe the issue When we try to launch LLM generations on APIBench, if the generation is interrupted midway, currently the partial file is deleted and restart generation from start. What we should instead do is check where the generation stopped and resume from the last generated index. This is specially critical for large models where generation can take >1 hours.

ID datapoint 2. Provider: This affects all 3: TorchHub/HuggingFace/PyTorch Hub

File that needs to be edited: https://github.com/ShishirPatil/gorilla/blob/main/eval/get_llm_responses.py

Guida contributor

Direzione di ricerca
Ispeziona get llm responses.py per rilevare dove la generazione è stata interrotta e implementa la logica per riprendere dall'ultimo indice riuscito anziché ricominciare.
Tech stack
python
Dominio
aibackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75