Issues do repositório

huggingface/lighteval

Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends

Ver no GitHub
Stars
 (2.496 estrelas)
Forks
 (514 forks)
Issues indexadas
 (23 issues indexadas)
issues iniciantes abertas
 (23 issues iniciantes abertas)
Última indexação
14 de ago. de 2026
Último push no GitHub
29 de jun. de 2026
Licença
MIT License
Guia de contribuição
Nenhum guia de contribuição
Código de conduta
Nenhum código de conduta
Linguagem principal
Python
Métricas de merge de PR
 (Métricas PR pendentes)
Labels para iniciantes
good first issuehelp wanted

Issues

23 issues indexadas abertas

Aberta
[EVAL] Long Horizon Execution
good first issuehelp wantednew-task
Por que recomendamosTem label amigável para iniciantes
Tem label amigável para iniciantes

huggingface / lighteval · #1056 · 13 de nov. de 2025 · Python · 2.496 estrelas

7 comentários0 reação1 responsável
Aberta
[EVAL] Add kyrgyzLLM benchmark
good first issuenew-task
Por que recomendamosTem label amigável para iniciantes
Tem label amigável para iniciantes

huggingface / lighteval · #1036 · 4 de nov. de 2025 · Python · 2.496 estrelas

1 comentário0 reação1 responsável
Aberta
[FT] showing count in Markdown summary table
featuregood first issue
Por que recomendamosAinda sem responsável · Tem label amigável para iniciantes
Ainda sem responsávelTem label amigável para iniciantes

huggingface / lighteval · #804 · 9 de jun. de 2025 · Python · 2.496 estrelas

5 comentários1 reação0 responsável
Aberta
[FT] Add tests for nanotron
featuregood first issuehelp wantedignore-for-release
Por que recomendamosAinda sem responsável · Tem label amigável para iniciantes
Ainda sem responsávelTem label amigável para iniciantes

huggingface / lighteval · #765 · 21 de mai. de 2025 · Python · 2.496 estrelas

3 comentários0 reação0 responsável
Aberta
[EVAL] TauBench:
help wantednew-task
Por que recomendamosAinda sem responsável · Tem label amigável para iniciantes
Ainda sem responsávelTem label amigável para iniciantes

huggingface / lighteval · #741 · 19 de mai. de 2025 · Python · 2.496 estrelas

1 comentário0 reação0 responsável
Aberta
[EVAL] SciCode: reasearch coding benchmark
help wantednew-task
Por que recomendamosAinda sem responsável · Tem label amigável para iniciantes
Ainda sem responsávelTem label amigável para iniciantes

huggingface / lighteval · #740 · 19 de mai. de 2025 · Python · 2.496 estrelas

2 comentários0 reação0 responsável
Aberta
[BUG] Optimize tokenization
buggood first issuehelp wantedscience-team
Por que recomendamosTem label amigável para iniciantes
Tem label amigável para iniciantes

huggingface / lighteval · #732 · 15 de mai. de 2025 · Python · 2.496 estrelas

1 comentário0 reação1 responsável
Aberta
[EVAL] HELMET: long context evals
help wantednew-task
Por que recomendamosAinda sem responsável · Tem label amigável para iniciantes
Ainda sem responsávelTem label amigável para iniciantes

huggingface / lighteval · #731 · 15 de mai. de 2025 · Python · 2.496 estrelas

2 comentários0 reação0 responsável
Aberta
[EVAL] SWEBENCH multilingual
help wantednew-task
Por que recomendamosAinda sem responsável · Ainda sem comentários
Ainda sem responsávelAinda sem comentáriosTem label amigável para iniciantes

huggingface / lighteval · #730 · 15 de mai. de 2025 · Python · 2.496 estrelas

0 comentário0 reação0 responsável
Aberta
[FT] Add tests for `VLLMModel` base methods
featuregood first issue
Por que recomendamosAinda sem comentários · Tem label amigável para iniciantes
Ainda sem comentáriosTem label amigável para iniciantes

huggingface / lighteval · #724 · 15 de mai. de 2025 · Python · 2.496 estrelas

0 comentário1 reação1 responsável
Aberta
[EVAL] Adding PHARE
good first issuehelp wantednew-task
Por que recomendamosTem label amigável para iniciantes
Tem label amigável para iniciantes

huggingface / lighteval · #696 · 30 de abr. de 2025 · Python · 2.496 estrelas

9 comentários0 reação1 responsável
Aberta
[FT] Improve Documentation and Examples
documentationfeaturegood first issuehelp wanted
Por que recomendamosAinda sem responsável · Tem label amigável para iniciantes
Ainda sem responsávelTem label amigável para iniciantes

huggingface / lighteval · #682 · 21 de abr. de 2025 · Python · 2.496 estrelas

6 comentários1 reação0 responsável
Aberta
[FT] Log progress bar on main process
featurehelp wantedscience-team
Por que recomendamosAinda sem responsável · Ainda sem comentários
Ainda sem responsávelAinda sem comentáriosTem label amigável para iniciantes

huggingface / lighteval · #662 · 7 de abr. de 2025 · Python · 2.496 estrelas

0 comentário0 reação0 responsável
Aberta
[EVAL] Big-Bench Extra Hard (BBEH)
good first issuehelp wantednew-taskscience-team
Por que recomendamosAinda sem responsável · Tem label amigável para iniciantes
Ainda sem responsávelTem label amigável para iniciantes

huggingface / lighteval · #600 · 3 de mar. de 2025 · Python · 2.496 estrelas

3 comentários0 reação0 responsável
Aberta
[EVAL] Add TUMLU benchmark
good first issuehelp wantednew-task
Por que recomendamosAinda sem responsável · Tem label amigável para iniciantes
Ainda sem responsávelTem label amigável para iniciantes

huggingface / lighteval · #577 · 19 de fev. de 2025 · Python · 2.496 estrelas

10 comentários0 reação0 responsável