huggingface/evaluate

可能已有人在做的 issue 排在最后。 全部按时间排序

• EvalPort export/import helpers for bridging evaluate's aggregate-only API to portable per-example results

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 35/100

  huggingface/evaluate#800 · 2026年8月20日 创建

  维护者通常 1 天内回复

• Proposal: Make SQuAD QA F1 logic reusable as a generic QA metric in `evaluate`

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 30/100

  huggingface/evaluate#724 · 2025年12月27日 创建

  维护者通常 1 天内回复

• FileNotFoundError: Couldn't find a module script at /workspace/[email protected]/VLM/evaluate/meteor/meteor.py. Module 'meteor' doesn't exist on the Hugging Face Hub either.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 48/100

  huggingface/evaluate#723 · 2025年12月18日 创建

  维护者通常 1 天内回复

• bug: huggingface-hub 1.0.0 release breaks existing evaluate releases

  可能重新可做 关联的 PR 已关闭且未合并。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 42/100

  huggingface/evaluate#712 · 7 条评论 · 2 个 reaction · 2025年10月28日 创建

  维护者通常 1 天内回复

• Unable to reproduce example results using the Unbabel/wmt22-comet-da model

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  huggingface/evaluate#711 · 2025年10月16日 创建

  维护者通常 1 天内回复

• Questions around perplexity metric for language modeling

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 32/100

  huggingface/evaluate#688 · 2025年6月21日 创建

  维护者通常 1 天内回复

• False/misleading instruction to use different checkpoints of BLEURT

  可能重新可做 关联的 PR 已关闭且未合并。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 1/5 1 小时以内 新手友好度 62/100

  huggingface/evaluate#679 · 1 个 reaction · 2025年5月30日 创建

  维护者通常 1 天内回复

• `rouge` is not available

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  huggingface/evaluate#678 · 1 个 reaction · 2025年5月27日 创建

  维护者通常 1 天内回复

• `import` is very slow

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  huggingface/evaluate#674 · 3 个 reaction · 2025年5月22日 创建

  维护者通常 1 天内回复

• comet doesn't work when gpu=0

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  huggingface/evaluate#673 · 1 条评论 · 2025年5月21日 创建

  维护者通常 1 天内回复

• Feature Request: Add support for retrieving mispredicted examples with predictions and ground truth

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 35/100

  huggingface/evaluate#672 · 2025年5月13日 创建

  维护者通常 1 天内回复

• Issue in evaluate.EvaluationModule.add

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 52/100

  huggingface/evaluate#670 · 2025年4月23日 创建

  维护者通常 1 天内回复

• Question: ROC_AUC metric compute signature with prediction_scores

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 25/100

  huggingface/evaluate#660 · 2025年1月8日 创建

  维护者通常 1 天内回复

• Calculating F1 fails due to error(AttributeError: 'float' object has no attribute 'size')

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 45/100

  huggingface/evaluate#658 · 2 条评论 · 2025年1月8日 创建

  维护者通常 1 天内回复

• FileNotFoundError: Couldn't find a module script at /home/tooko/transformers-course/glue/glue.py.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 30/100

  huggingface/evaluate#651 · 1 个 reaction · 2024年12月7日 创建

  维护者通常 1 天内回复

• Evaluation took so much disk

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  huggingface/evaluate#649 · 2024年11月21日 创建

  维护者通常 1 天内回复

• evaluate.load() does not work while loading word_count

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  huggingface/evaluate#648 · 2024年11月15日 创建

  维护者通常 1 天内回复

• TypeError: 'NoneType' object is not callable

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 30/100

  huggingface/evaluate#647 · 1 条评论 · 2024年10月30日 创建

  维护者通常 1 天内回复

• FileNotFoundError: Couldn't find a module script at /mnt/data/dingtian/exact_match/exact_match.py. Module 'exact_match' doesn't exist on the Hugging Face Hub either.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  huggingface/evaluate#645 · 1 条评论 · 2024年10月21日 创建

  维护者通常 1 天内回复

• [FR] Binoculars as a new metric

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  huggingface/evaluate#644 · 2024年10月20日 创建

  维护者通常 1 天内回复

• Perplexity for quantized models

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 25/100

  huggingface/evaluate#643 · 1 条评论 · 2024年10月17日 创建

  维护者通常 1 天内回复

• ImportError: To be able to use evaluate-metric/glue, you need to install the following dependencies['scipy', 'scikit-learn'] using 'pip install scipy sklearn' for instance'

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 35/100

  huggingface/evaluate#642 · 3 条评论 · 2024年9月24日 创建

  维护者通常 1 天内回复

• Optionally stop data deletion after compute

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  huggingface/evaluate#641 · 2024年9月24日 创建

  维护者通常 1 天内回复

• Perplexity for Left Padded Models

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  huggingface/evaluate#636 · 2024年9月15日 创建

  维护者通常 1 天内回复

• CI parity test is broken due to FileNotFoundError

  可能重新可做 @albertvillanova 于 758 天前认领，目前没有进行中的 PR。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  huggingface/evaluate#632 · 已指派 1 人 · 2024年9月12日 创建

  维护者通常 1 天内回复

• `list_evaluation_modules` returns empty list

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 42/100

  huggingface/evaluate#616 · 4 条评论 · 2024年8月23日 创建

  维护者通常 1 天内回复

• Benchmark evaluation for language models.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 25/100

  huggingface/evaluate#615 · 1 条评论 · 2024年8月19日 创建

  维护者通常 1 天内回复

• Unable to compute f1 score - Throwing Value Error trying to convert a string in non english Language to integer

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  huggingface/evaluate#610 · 1 条评论 · 2024年8月1日 创建

  维护者通常 1 天内回复

• AttributeError: module 'evaluate' has no attribute 'load'

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 25/100

  huggingface/evaluate#609 · 8 条评论 · 2024年7月31日 创建

  维护者通常 1 天内回复

• [Metrics] ValueError: Expected to find locked file from process x but it doesn't exist.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 32/100

  huggingface/evaluate#607 · 1 条评论 · 2024年7月11日 创建

  维护者通常 1 天内回复

• Gradio dependency issue

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 1/5 1-3 小时 新手友好度 45/100

  huggingface/evaluate#602 · 2 条评论 · 2024年6月21日 创建

  维护者通常 1 天内回复

• LocalModuleTest.test_load_metric_code_eval fails with "The "code_eval" metric executes untrusted model-generated code in Python."

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  huggingface/evaluate#597 · 2024年6月8日 创建

  维护者通常 1 天内回复

• Evaluation of empty strings with MAUVE results in error

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  huggingface/evaluate#593 · 2024年5月24日 创建

  维护者通常 1 天内回复

• SyntaxError: closing parenthesis '}'

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 35/100

  huggingface/evaluate#592 · 3 条评论 · 2024年5月12日 创建

  维护者通常 1 天内回复

• Problems during run initial step

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 25/100

  huggingface/evaluate#590 · 12 条评论 · 2024年5月7日 创建

  维护者通常 1 天内回复

• Can't load exist dataset for evaluation

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  huggingface/evaluate#589 · 1 条评论 · 2024年5月6日 创建

  维护者通常 1 天内回复

• [Question]Shall we adding a faster BLEU score calculator?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 25/100

  huggingface/evaluate#586 · 2024年4月30日 创建

  维护者通常 1 天内回复

• How to pass generation_kwargs to the TextGeneration evaluator ?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 25/100

  huggingface/evaluate#582 · 2024年4月25日 创建

  维护者通常 1 天内回复

• [FR] Confidence intervals for metrics

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 5/5 一周以上 新手友好度 35/100

  huggingface/evaluate#581 · 2024年4月22日 创建

  维护者通常 1 天内回复

• Unable to run pip install evaluate[template]

  可能重新可做 关联的 PR 已关闭且未合并。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 35/100

  huggingface/evaluate#576 · 1 条评论 · 2024年4月17日 创建

  维护者通常 1 天内回复

• Perplexity metric does not apply batching correctly to tokenization

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 30/100

  huggingface/evaluate#573 · 1 条评论 · 4 个 reaction · 2024年4月14日 创建

  维护者通常 1 天内回复

• METEOR has no option to return unaggregated results

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 52/100

  huggingface/evaluate#572 · 1 条评论 · 2024年4月10日 创建

  维护者通常 1 天内回复

• [Question] How to have no preset values sent into `.compute()`

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  huggingface/evaluate#570 · 2024年4月8日 创建

  维护者通常 1 天内回复

• Allow for specify coda device in perplexity evaluation

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 2/5 1-3 小时 新手友好度 52/100

  huggingface/evaluate#568 · 2024年4月8日 创建

  维护者通常 1 天内回复

• Cannot use it offline!

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 25/100

  huggingface/evaluate#567 · 1 条评论 · 2024年4月5日 创建

  维护者通常 1 天内回复

• ValueError: Predictions and/or references don't match the expected format.

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 45/100

  huggingface/evaluate#563 · 1 条评论 · 2024年3月20日 创建

  维护者通常 1 天内回复

• It seems like evaluate.load doesnt use

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 42/100

  huggingface/evaluate#561 · 2024年3月17日 创建

  维护者通常 1 天内回复

• Is perplexity correctly computed?

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 4/5 3-5 天 新手友好度 35/100

  huggingface/evaluate#560 · 6 条评论 · 2024年3月15日 创建

  维护者通常 1 天内回复

• the difference of your bleu and sacrebleu

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 25/100

  huggingface/evaluate#558 · 1 条评论 · 2024年3月7日 创建

  维护者通常 1 天内回复

• After fine-tuning Gemma and want to evaluate performance: AttributeError: module 'keras._tf_keras.keras' has no attribute '__internal__'

  未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消

  难度 3/5 1-2 天 新手友好度 35/100

  huggingface/evaluate#555 · 2024年3月2日 创建

  维护者通常 1 天内回复