ggml-org/llama.cpp

Study how LM Evaluation Harness works and try to implement it

Open

#231 geöffnet am 17. März 2023

Auf GitHub ansehen
 (10 Kommentare) (9 Reaktionen) (0 zugewiesene Personen)C++ (18.202 Forks)batch import
enhancementgeneration qualityhelp wantedhigh priorityresearch 🔬

Repository-Metriken

Stars
 (110.169 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Update 10 Apr 2024: https://github.com/ggerganov/llama.cpp/issues/231#issuecomment-2047759312

It would be great to start doing this kind of quantitative analysis of ggml-based inference:

https://bellard.org/ts_server/

It looks like Fabrice evaluates the models using something called LM Evaluation Harness:

https://github.com/EleutherAI/lm-evaluation-harness

I have no idea what this is yet, but would be nice to study it and try to integrate it here and in other ggml-based projects. This will be very important step needed to estimate the quality of the generated output and see if we are on the right track.

Contributor Guide

Research-Richtung
Sieh dir die Dokumentation und den Quellcode von LM Evaluation Harness an, um zu verstehen, wie Sprachmodelle bewertet werden. Identifiziere die wichtigsten Schnittstellen und Datenformate, und erkunde dann, wie die Inferenz von llama.cpp angepasst werden kann, um kompatibel zu sein. Schlage ein Integrationsdesign vor, möglicherweise durch Kapselung der llama.cpp API in einer Python Schnittstelle oder Implementierung eines C++ Harnesses.
Tech Stack
python
Domain
testingperformancemachine learning
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
C++PythonLM Evaluation Harness basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30