Repository Issues

huggingface/lighteval

Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends

GitHub で見る
Stars
 (2,496 個のスター)
Forks
 (514 件のフォーク)
Indexed issues
 (23 件の索引済み Issue)
open beginner issues
 (23 件のオープンな初心者向け Issue)
最終索引
2026/08/14
最終 GitHub push
2026/06/29
ライセンス
MIT License
コントリビューションガイド
コントリビューションガイドはありません
行動規範
行動規範はありません
主要言語
Python
PR merge metrics
 (PR metrics pending)
初心者向けラベル
good first issuehelp wanted

Issue

23 件のオープンな索引 Issue

オープン
[EVAL] Long Horizon Execution
good first issuehelp wantednew-task
おすすめ理由初心者向けラベルあり
初心者向けラベルあり

huggingface / lighteval · #1056 · 2025/11/13 · Python · 2,496 個のスター

7 件のコメント0 件のリアクション1 人の担当者
オープン
[EVAL] Add kyrgyzLLM benchmark
good first issuenew-task
おすすめ理由初心者向けラベルあり
初心者向けラベルあり

huggingface / lighteval · #1036 · 2025/11/04 · Python · 2,496 個のスター

1 件のコメント0 件のリアクション1 人の担当者
オープン
[FT] showing count in Markdown summary table
featuregood first issue
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #804 · 2025/06/09 · Python · 2,496 個のスター

5 件のコメント1 件のリアクション0 人の担当者
オープン
[FT] Add tests for nanotron
featuregood first issuehelp wantedignore-for-release
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #765 · 2025/05/21 · Python · 2,496 個のスター

3 件のコメント0 件のリアクション0 人の担当者
オープン
[BUG] custom model docs don't run: missing imports
bugdocumentationgood first issue
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #760 · 2025/05/21 · Python · 2,496 個のスター

5 件のコメント0 件のリアクション0 人の担当者
オープン
[FT] Manage script and language in the Language enum
featuregood first issue
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #745 · 2025/05/19 · Python · 2,496 個のスター

2 件のコメント0 件のリアクション0 人の担当者
オープン
[EVAL] TauBench:
help wantednew-task
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #741 · 2025/05/19 · Python · 2,496 個のスター

1 件のコメント0 件のリアクション0 人の担当者
オープン
[EVAL] SciCode: reasearch coding benchmark
help wantednew-task
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #740 · 2025/05/19 · Python · 2,496 個のスター

2 件のコメント0 件のリアクション0 人の担当者
オープン
[BUG] Optimize tokenization
buggood first issuehelp wantedscience-team
おすすめ理由初心者向けラベルあり
初心者向けラベルあり

huggingface / lighteval · #732 · 2025/05/15 · Python · 2,496 個のスター

1 件のコメント0 件のリアクション1 人の担当者
オープン
[EVAL] HELMET: long context evals
help wantednew-task
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #731 · 2025/05/15 · Python · 2,496 個のスター

2 件のコメント0 件のリアクション0 人の担当者
オープン
[EVAL] SWEBENCH multilingual
help wantednew-task
おすすめ理由担当者がまだいない · コメントがまだない
担当者がまだいないコメントがまだない初心者向けラベルあり

huggingface / lighteval · #730 · 2025/05/15 · Python · 2,496 個のスター

0 件のコメント0 件のリアクション0 人の担当者
オープン
[FT] Add tests for `VLLMModel` base methods
featuregood first issue
おすすめ理由コメントがまだない · 初心者向けラベルあり
コメントがまだない初心者向けラベルあり

huggingface / lighteval · #724 · 2025/05/15 · Python · 2,496 個のスター

0 件のコメント1 件のリアクション1 人の担当者
オープン
[BUG] Installing lighteval breaks hydra-core
bughelp wanted
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #713 · 2025/05/09 · Python · 2,496 個のスター

1 件のコメント1 件のリアクション0 人の担当者
オープン
[EVAL] Adding PHARE
good first issuehelp wantednew-task
おすすめ理由初心者向けラベルあり
初心者向けラベルあり

huggingface / lighteval · #696 · 2025/04/30 · Python · 2,496 個のスター

9 件のコメント0 件のリアクション1 人の担当者
オープン
[FT] Improve Documentation and Examples
documentationfeaturegood first issuehelp wanted
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #682 · 2025/04/21 · Python · 2,496 個のスター

6 件のコメント1 件のリアクション0 人の担当者
オープン
[FT] Log progress bar on main process
featurehelp wantedscience-team
おすすめ理由担当者がまだいない · コメントがまだない
担当者がまだいないコメントがまだない初心者向けラベルあり

huggingface / lighteval · #662 · 2025/04/07 · Python · 2,496 個のスター

0 件のコメント0 件のリアクション0 人の担当者
オープン
[EVAL] Big-Bench Extra Hard (BBEH)
good first issuehelp wantednew-taskscience-team
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #600 · 2025/03/03 · Python · 2,496 個のスター

3 件のコメント0 件のリアクション0 人の担当者
オープン
[EVAL] Add TUMLU benchmark
good first issuehelp wantednew-task
おすすめ理由担当者がまだいない · 初心者向けラベルあり
担当者がまだいない初心者向けラベルあり

huggingface / lighteval · #577 · 2025/02/19 · Python · 2,496 個のスター

10 件のコメント0 件のリアクション0 人の担当者