ggml-org/llama.cpp

Study how LM Evaluation Harness works and try to implement it

Open

#231 aperta il 17 mar 2023

Vedi su GitHub
 (10 commenti) (9 reazioni) (0 assegnatari)C++ (18.202 fork)batch import
enhancementgeneration qualityhelp wantedhigh priorityresearch 🔬

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Update 10 Apr 2024: https://github.com/ggerganov/llama.cpp/issues/231#issuecomment-2047759312

It would be great to start doing this kind of quantitative analysis of ggml-based inference:

https://bellard.org/ts_server/

It looks like Fabrice evaluates the models using something called LM Evaluation Harness:

https://github.com/EleutherAI/lm-evaluation-harness

I have no idea what this is yet, but would be nice to study it and try to integrate it here and in other ggml-based projects. This will be very important step needed to estimate the quality of the generated output and see if we are on the right track.

Guida contributor

Direzione di ricerca
Studia la documentazione e il codice sorgente di LM Evaluation Harness per capire come valuta i modelli linguistici. Identifica le interfacce chiave e i formati dei dati, quindi esplora come adattare l'inferenza di llama.cpp per essere compatibile. Proponi un progetto di integrazione, magari incapsulando l'API di llama.cpp in un'interfaccia Python o implementando un harness in C++.
Tech stack
python
Dominio
testingperformancemachine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++PythonLM Evaluation Harness basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30