ggml-org/llama.cpp

Study how LM Evaluation Harness works and try to implement it

Open

#231 aberto em 17 de mar. de 2023

Ver no GitHub
 (10 comments) (9 reactions) (0 assignees)C++ (18.202 forks)batch import
enhancementgeneration qualityhelp wantedhigh priorityresearch 🔬

Métricas do repositório

Stars
 (110.169 stars)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

Update 10 Apr 2024: https://github.com/ggerganov/llama.cpp/issues/231#issuecomment-2047759312

It would be great to start doing this kind of quantitative analysis of ggml-based inference:

https://bellard.org/ts_server/

It looks like Fabrice evaluates the models using something called LM Evaluation Harness:

https://github.com/EleutherAI/lm-evaluation-harness

I have no idea what this is yet, but would be nice to study it and try to integrate it here and in other ggml-based projects. This will be very important step needed to estimate the quality of the generated output and see if we are on the right track.

Guia do colaborador

Direção de pesquisa
Revise a documentação e o código fonte do LM Evaluation Harness para entender como ele avalia modelos de linguagem. Identifique as principais interfaces e formatos de dados, depois explore como adaptar a inferência do llama.cpp para ser compatível. Proponha um design de integração, possivelmente encapsulando a API do llama.cpp em uma interface Python ou implementando um harness em C++.
Pilha de tecnologia
python
Domain
testingperformancemachine learning
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
C++PythonLM Evaluation Harness basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30