Issue del repository

huggingface/lighteval

Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends

Vedi su GitHub
Star
 (2496 stelle)
Fork
 (514 fork)
Issue indicizzate
 (23 issue indicizzate)
issue per principianti aperte
 (23 issue per principianti aperte)
Ultima indicizzazione
14 ago 2026
Ultimo push GitHub
29 giu 2026
Licenza
MIT License
Guida contributori
Nessuna guida contributori
Codice di condotta
Nessun codice di condotta
Linguaggio principale
Python
Metriche merge PR
 (Metriche PR in attesa)
Label per principianti
good first issuehelp wanted

Issue

23 issue indicizzate

Aperta
[EVAL] Long Horizon Execution
good first issuehelp wantednew-task
Perché consigliataHa una label adatta ai principianti
Ha una label adatta ai principianti

huggingface / lighteval · #1056 · 13 nov 2025 · Python · 2496 stelle

7 commenti0 reazioni1 assegnatario
Aperta
[EVAL] Add kyrgyzLLM benchmark
good first issuenew-task
Perché consigliataHa una label adatta ai principianti
Ha una label adatta ai principianti

huggingface / lighteval · #1036 · 4 nov 2025 · Python · 2496 stelle

1 commento0 reazioni1 assegnatario
Aperta
[FT] Add tests for nanotron
featuregood first issuehelp wantedignore-for-release
Perché consigliataNessun assegnatario · Ha una label adatta ai principianti
Nessun assegnatarioHa una label adatta ai principianti

huggingface / lighteval · #765 · 21 mag 2025 · Python · 2496 stelle

3 commenti0 reazioni0 assegnatari
Aperta
[EVAL] TauBench:
help wantednew-task
Perché consigliataNessun assegnatario · Ha una label adatta ai principianti
Nessun assegnatarioHa una label adatta ai principianti

huggingface / lighteval · #741 · 19 mag 2025 · Python · 2496 stelle

1 commento0 reazioni0 assegnatari
Aperta
[BUG] Optimize tokenization
buggood first issuehelp wantedscience-team
Perché consigliataHa una label adatta ai principianti
Ha una label adatta ai principianti

huggingface / lighteval · #732 · 15 mag 2025 · Python · 2496 stelle

1 commento0 reazioni1 assegnatario
Aperta
[EVAL] HELMET: long context evals
help wantednew-task
Perché consigliataNessun assegnatario · Ha una label adatta ai principianti
Nessun assegnatarioHa una label adatta ai principianti

huggingface / lighteval · #731 · 15 mag 2025 · Python · 2496 stelle

2 commenti0 reazioni0 assegnatari
Aperta
[EVAL] SWEBENCH multilingual
help wantednew-task
Perché consigliataNessun assegnatario · Nessun commento
Nessun assegnatarioNessun commentoHa una label adatta ai principianti

huggingface / lighteval · #730 · 15 mag 2025 · Python · 2496 stelle

0 commenti0 reazioni0 assegnatari
Aperta
[EVAL] Adding PHARE
good first issuehelp wantednew-task
Perché consigliataHa una label adatta ai principianti
Ha una label adatta ai principianti

huggingface / lighteval · #696 · 30 apr 2025 · Python · 2496 stelle

9 commenti0 reazioni1 assegnatario
Aperta
[FT] Improve Documentation and Examples
documentationfeaturegood first issuehelp wanted
Perché consigliataNessun assegnatario · Ha una label adatta ai principianti
Nessun assegnatarioHa una label adatta ai principianti

huggingface / lighteval · #682 · 21 apr 2025 · Python · 2496 stelle

6 commenti1 reazione0 assegnatari
Aperta
[FT] Log progress bar on main process
featurehelp wantedscience-team
Perché consigliataNessun assegnatario · Nessun commento
Nessun assegnatarioNessun commentoHa una label adatta ai principianti

huggingface / lighteval · #662 · 7 apr 2025 · Python · 2496 stelle

0 commenti0 reazioni0 assegnatari
Aperta
[EVAL] Big-Bench Extra Hard (BBEH)
good first issuehelp wantednew-taskscience-team
Perché consigliataNessun assegnatario · Ha una label adatta ai principianti
Nessun assegnatarioHa una label adatta ai principianti

huggingface / lighteval · #600 · 3 mar 2025 · Python · 2496 stelle

3 commenti0 reazioni0 assegnatari
Aperta
[EVAL] Add TUMLU benchmark
good first issuehelp wantednew-task
Perché consigliataNessun assegnatario · Ha una label adatta ai principianti
Nessun assegnatarioHa una label adatta ai principianti

huggingface / lighteval · #577 · 19 feb 2025 · Python · 2496 stelle

10 commenti0 reazioni0 assegnatari