ggml-org/llama.cpp

Study how LM Evaluation Harness works and try to implement it

Open

#231 ouverte le 17 mars 2023

Voir sur GitHub
 (10 commentaires) (9 réactions) (0 assignés)C++ (18 202 forks)batch import
enhancementgeneration qualityhelp wantedhigh priorityresearch 🔬

Métriques du dépôt

Stars
 (110 169 stars)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Update 10 Apr 2024: https://github.com/ggerganov/llama.cpp/issues/231#issuecomment-2047759312

It would be great to start doing this kind of quantitative analysis of ggml-based inference:

https://bellard.org/ts_server/

It looks like Fabrice evaluates the models using something called LM Evaluation Harness:

https://github.com/EleutherAI/lm-evaluation-harness

I have no idea what this is yet, but would be nice to study it and try to integrate it here and in other ggml-based projects. This will be very important step needed to estimate the quality of the generated output and see if we are on the right track.

Guide contributeur

Direction de recherche
Examinez la documentation et le code source de LM Evaluation Harness pour comprendre comment il evalue les modeles de langage. Identifiez les interfaces et formats de donnees cles, puis explorez comment adapter l'inference de llama.cpp pour etre compatible. Proposez une conception d'integration, eventuellement en encapsulant l'API de llama.cpp dans une interface Python ou en implementant un harness en C++.
Stack technique
python
Domaine
testingperformancemachine learning
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
C++PythonLM Evaluation Harness basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30