Issues du dépôt

huggingface/lighteval

Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends

Voir sur GitHub
Stars
 (2 496 étoiles)
Forks
 (514 forks)
Issues indexées
 (23 issues indexées)
issues débutant ouvertes
 (23 issues débutant ouvertes)
Dernière indexation
14 août 2026
Dernier push GitHub
29 juin 2026
Licence
MIT License
Guide de contribution
Aucun guide de contribution
Code de conduite
Aucun code de conduite
Langage principal
Python
Métriques de merge PR
 (Métriques PR en attente)
Labels débutant
good first issuehelp wanted

Issues

23 issues indexées ouvertes

Ouverte
[EVAL] Long Horizon Execution
good first issuehelp wantednew-task
Pourquoi recommandéeLabel adapté aux débutants
Label adapté aux débutants

huggingface / lighteval · #1056 · 13 nov. 2025 · Python · 2 496 étoiles

7 commentaires0 réaction1 personne assignée
Ouverte
[EVAL] Add kyrgyzLLM benchmark
good first issuenew-task
Pourquoi recommandéeLabel adapté aux débutants
Label adapté aux débutants

huggingface / lighteval · #1036 · 4 nov. 2025 · Python · 2 496 étoiles

1 commentaire0 réaction1 personne assignée
Ouverte
[FT] showing count in Markdown summary table
featuregood first issue
Pourquoi recommandéeAucune personne assignée · Label adapté aux débutants
Aucune personne assignéeLabel adapté aux débutants

huggingface / lighteval · #804 · 9 juin 2025 · Python · 2 496 étoiles

5 commentaires1 réaction0 personne assignée
Ouverte
[FT] Add tests for nanotron
featuregood first issuehelp wantedignore-for-release
Pourquoi recommandéeAucune personne assignée · Label adapté aux débutants
Aucune personne assignéeLabel adapté aux débutants

huggingface / lighteval · #765 · 21 mai 2025 · Python · 2 496 étoiles

3 commentaires0 réaction0 personne assignée
Ouverte
[EVAL] TauBench:
help wantednew-task
Pourquoi recommandéeAucune personne assignée · Label adapté aux débutants
Aucune personne assignéeLabel adapté aux débutants

huggingface / lighteval · #741 · 19 mai 2025 · Python · 2 496 étoiles

1 commentaire0 réaction0 personne assignée
Ouverte
[EVAL] SciCode: reasearch coding benchmark
help wantednew-task
Pourquoi recommandéeAucune personne assignée · Label adapté aux débutants
Aucune personne assignéeLabel adapté aux débutants

huggingface / lighteval · #740 · 19 mai 2025 · Python · 2 496 étoiles

2 commentaires0 réaction0 personne assignée
Ouverte
[BUG] Optimize tokenization
buggood first issuehelp wantedscience-team
Pourquoi recommandéeLabel adapté aux débutants
Label adapté aux débutants

huggingface / lighteval · #732 · 15 mai 2025 · Python · 2 496 étoiles

1 commentaire0 réaction1 personne assignée
Ouverte
[EVAL] HELMET: long context evals
help wantednew-task
Pourquoi recommandéeAucune personne assignée · Label adapté aux débutants
Aucune personne assignéeLabel adapté aux débutants

huggingface / lighteval · #731 · 15 mai 2025 · Python · 2 496 étoiles

2 commentaires0 réaction0 personne assignée
Ouverte
[EVAL] SWEBENCH multilingual
help wantednew-task
Pourquoi recommandéeAucune personne assignée · Aucun commentaire pour l'instant
Aucune personne assignéeAucun commentaire pour l'instantLabel adapté aux débutants

huggingface / lighteval · #730 · 15 mai 2025 · Python · 2 496 étoiles

0 commentaire0 réaction0 personne assignée
Ouverte
[FT] Add tests for `VLLMModel` base methods
featuregood first issue
Pourquoi recommandéeAucun commentaire pour l'instant · Label adapté aux débutants
Aucun commentaire pour l'instantLabel adapté aux débutants

huggingface / lighteval · #724 · 15 mai 2025 · Python · 2 496 étoiles

0 commentaire1 réaction1 personne assignée
Ouverte
[EVAL] Adding PHARE
good first issuehelp wantednew-task
Pourquoi recommandéeLabel adapté aux débutants
Label adapté aux débutants

huggingface / lighteval · #696 · 30 avr. 2025 · Python · 2 496 étoiles

9 commentaires0 réaction1 personne assignée
Ouverte
[FT] Improve Documentation and Examples
documentationfeaturegood first issuehelp wanted
Pourquoi recommandéeAucune personne assignée · Label adapté aux débutants
Aucune personne assignéeLabel adapté aux débutants

huggingface / lighteval · #682 · 21 avr. 2025 · Python · 2 496 étoiles

6 commentaires1 réaction0 personne assignée
Ouverte
[FT] Log progress bar on main process
featurehelp wantedscience-team
Pourquoi recommandéeAucune personne assignée · Aucun commentaire pour l'instant
Aucune personne assignéeAucun commentaire pour l'instantLabel adapté aux débutants

huggingface / lighteval · #662 · 7 avr. 2025 · Python · 2 496 étoiles

0 commentaire0 réaction0 personne assignée
Ouverte
[EVAL] Big-Bench Extra Hard (BBEH)
good first issuehelp wantednew-taskscience-team
Pourquoi recommandéeAucune personne assignée · Label adapté aux débutants
Aucune personne assignéeLabel adapté aux débutants

huggingface / lighteval · #600 · 3 mars 2025 · Python · 2 496 étoiles

3 commentaires0 réaction0 personne assignée
Ouverte
[EVAL] Add TUMLU benchmark
good first issuehelp wantednew-task
Pourquoi recommandéeAucune personne assignée · Label adapté aux débutants
Aucune personne assignéeLabel adapté aux débutants

huggingface / lighteval · #577 · 19 févr. 2025 · Python · 2 496 étoiles

10 commentaires0 réaction0 personne assignée