Repository Issues

huggingface/lighteval

Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends

Auf GitHub ansehen
Stars
 (2.496 Sterne)
Forks
 (514 Forks)
Indexierte Issues
 (23 indexierte Issues)
offene Einsteiger-Issues
 (23 offene Einsteiger-Issues)
Zuletzt indexiert
14.08.2026
Letzter GitHub Push
29.06.2026
Lizenz
MIT License
Contributing Guide
Kein Contributing Guide
Code of Conduct
Kein Code of Conduct
Hauptsprache
Python
PR-Merge-Metriken
 (PR-Metriken ausstehend)
Einsteiger-Labels
good first issuehelp wanted

Issues

23 offene indexierte Issues

Offen
[EVAL] Long Horizon Execution
good first issuehelp wantednew-task
Warum empfohlenEinsteigerfreundliches Label vorhanden
Einsteigerfreundliches Label vorhanden

huggingface / lighteval · #1056 · 13.11.2025 · Python · 2.496 Sterne

7 Kommentare0 Reaktionen1 zugewiesene Person
Offen
[EVAL] Add kyrgyzLLM benchmark
good first issuenew-task
Warum empfohlenEinsteigerfreundliches Label vorhanden
Einsteigerfreundliches Label vorhanden

huggingface / lighteval · #1036 · 04.11.2025 · Python · 2.496 Sterne

1 Kommentar0 Reaktionen1 zugewiesene Person
Offen
[FT] showing count in Markdown summary table
featuregood first issue
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #804 · 09.06.2025 · Python · 2.496 Sterne

5 Kommentare1 Reaktion0 zugewiesene Personen
Offen
[FT] Add tests for nanotron
featuregood first issuehelp wantedignore-for-release
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #765 · 21.05.2025 · Python · 2.496 Sterne

3 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[EVAL] TauBench:
help wantednew-task
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #741 · 19.05.2025 · Python · 2.496 Sterne

1 Kommentar0 Reaktionen0 zugewiesene Personen
Offen
[EVAL] SciCode: reasearch coding benchmark
help wantednew-task
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #740 · 19.05.2025 · Python · 2.496 Sterne

2 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[BUG] Optimize tokenization
buggood first issuehelp wantedscience-team
Warum empfohlenEinsteigerfreundliches Label vorhanden
Einsteigerfreundliches Label vorhanden

huggingface / lighteval · #732 · 15.05.2025 · Python · 2.496 Sterne

1 Kommentar0 Reaktionen1 zugewiesene Person
Offen
[EVAL] HELMET: long context evals
help wantednew-task
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #731 · 15.05.2025 · Python · 2.496 Sterne

2 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[EVAL] SWEBENCH multilingual
help wantednew-task
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #730 · 15.05.2025 · Python · 2.496 Sterne

0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[FT] Add tests for `VLLMModel` base methods
featuregood first issue
Warum empfohlenNoch keine Kommentare · Einsteigerfreundliches Label vorhanden
Noch keine KommentareEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #724 · 15.05.2025 · Python · 2.496 Sterne

0 Kommentare1 Reaktion1 zugewiesene Person
Offen
[EVAL] Adding PHARE
good first issuehelp wantednew-task
Warum empfohlenEinsteigerfreundliches Label vorhanden
Einsteigerfreundliches Label vorhanden

huggingface / lighteval · #696 · 30.04.2025 · Python · 2.496 Sterne

9 Kommentare0 Reaktionen1 zugewiesene Person
Offen
[FT] Improve Documentation and Examples
documentationfeaturegood first issuehelp wanted
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #682 · 21.04.2025 · Python · 2.496 Sterne

6 Kommentare1 Reaktion0 zugewiesene Personen
Offen
[FT] Log progress bar on main process
featurehelp wantedscience-team
Warum empfohlenNoch niemand zugewiesen · Noch keine Kommentare
Noch niemand zugewiesenNoch keine KommentareEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #662 · 07.04.2025 · Python · 2.496 Sterne

0 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[EVAL] Big-Bench Extra Hard (BBEH)
good first issuehelp wantednew-taskscience-team
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #600 · 03.03.2025 · Python · 2.496 Sterne

3 Kommentare0 Reaktionen0 zugewiesene Personen
Offen
[EVAL] Add TUMLU benchmark
good first issuehelp wantednew-task
Warum empfohlenNoch niemand zugewiesen · Einsteigerfreundliches Label vorhanden
Noch niemand zugewiesenEinsteigerfreundliches Label vorhanden

huggingface / lighteval · #577 · 19.02.2025 · Python · 2.496 Sterne

10 Kommentare0 Reaktionen0 zugewiesene Personen