仓库议题

huggingface/lighteval

Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends

在 GitHub 查看
星标
 (2,496 个星标)
派生
 (514 个派生)
已索引议题
 (23 个已索引议题)
个开放新手议题
 (23 个开放的新手议题)
最近索引
2026年8月14日
最近 GitHub push
2026年6月29日
许可证
MIT License
贡献指南
没有贡献指南
行为准则
没有行为准则
主要语言
Python
PR 合并指标
 (PR 指标待抓取)
新手标签
good first issuehelp wanted

议题

23 个开放索引议题

开放
[EVAL] Long Horizon Execution
good first issuehelp wantednew-task
为什么推荐带有初学者友好标签
带有初学者友好标签

huggingface / lighteval · #1056 · 2025年11月13日 · Python · 2,496 个星标

7 条评论0 个反应1 位负责人
开放
[FT] Add tests for nanotron
featuregood first issuehelp wantedignore-for-release
为什么推荐暂无负责人 · 带有初学者友好标签
暂无负责人带有初学者友好标签

huggingface / lighteval · #765 · 2025年5月21日 · Python · 2,496 个星标

3 条评论0 个反应0 位负责人
开放
[EVAL] TauBench:
help wantednew-task
为什么推荐暂无负责人 · 带有初学者友好标签
暂无负责人带有初学者友好标签

huggingface / lighteval · #741 · 2025年5月19日 · Python · 2,496 个星标

1 条评论0 个反应0 位负责人
开放
[BUG] Optimize tokenization
buggood first issuehelp wantedscience-team
为什么推荐带有初学者友好标签
带有初学者友好标签

huggingface / lighteval · #732 · 2025年5月15日 · Python · 2,496 个星标

1 条评论0 个反应1 位负责人
开放
[EVAL] HELMET: long context evals
help wantednew-task
为什么推荐暂无负责人 · 带有初学者友好标签
暂无负责人带有初学者友好标签

huggingface / lighteval · #731 · 2025年5月15日 · Python · 2,496 个星标

2 条评论0 个反应0 位负责人
开放
[EVAL] SWEBENCH multilingual
help wantednew-task
为什么推荐暂无负责人 · 暂无评论
暂无负责人暂无评论带有初学者友好标签

huggingface / lighteval · #730 · 2025年5月15日 · Python · 2,496 个星标

0 条评论0 个反应0 位负责人
开放
[EVAL] Adding PHARE
good first issuehelp wantednew-task
为什么推荐带有初学者友好标签
带有初学者友好标签

huggingface / lighteval · #696 · 2025年4月30日 · Python · 2,496 个星标

9 条评论0 个反应1 位负责人
开放
[FT] Improve Documentation and Examples
documentationfeaturegood first issuehelp wanted
为什么推荐暂无负责人 · 带有初学者友好标签
暂无负责人带有初学者友好标签

huggingface / lighteval · #682 · 2025年4月21日 · Python · 2,496 个星标

6 条评论1 个反应0 位负责人
开放
[FT] Log progress bar on main process
featurehelp wantedscience-team
为什么推荐暂无负责人 · 暂无评论
暂无负责人暂无评论带有初学者友好标签

huggingface / lighteval · #662 · 2025年4月7日 · Python · 2,496 个星标

0 条评论0 个反应0 位负责人
开放
[EVAL] Big-Bench Extra Hard (BBEH)
good first issuehelp wantednew-taskscience-team
为什么推荐暂无负责人 · 带有初学者友好标签
暂无负责人带有初学者友好标签

huggingface / lighteval · #600 · 2025年3月3日 · Python · 2,496 个星标

3 条评论0 个反应0 位负责人
开放
[EVAL] Add TUMLU benchmark
good first issuehelp wantednew-task
为什么推荐暂无负责人 · 带有初学者友好标签
暂无负责人带有初学者友好标签

huggingface / lighteval · #577 · 2025年2月19日 · Python · 2,496 个星标

10 条评论0 个反应0 位负责人