huggingface/evaluate

誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示

• EvalPort export/import helpers for bridging evaluate's aggregate-only API to portable per-example results

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  huggingface/evaluate#800 · 2026年8月20日 に作成

  メンテナーはふだん 1 日以内に返信

• Proposal: Make SQuAD QA F1 logic reusable as a generic QA metric in `evaluate`

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 30/100

  huggingface/evaluate#724 · 2025年12月27日 に作成

  メンテナーはふだん 1 日以内に返信

• FileNotFoundError: Couldn't find a module script at /workspace/[email protected]/VLM/evaluate/meteor/meteor.py. Module 'meteor' doesn't exist on the Hugging Face Hub either.

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 48/100

  huggingface/evaluate#723 · 2025年12月18日 に作成

  メンテナーはふだん 1 日以内に返信

• bug: huggingface-hub 1.0.0 release breaks existing evaluate releases

  再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 42/100

  huggingface/evaluate#712 · コメント 7 件 · リアクション 2 件 · 2025年10月28日 に作成

  メンテナーはふだん 1 日以内に返信

• Unable to reproduce example results using the Unbabel/wmt22-comet-da model

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  huggingface/evaluate#711 · 2025年10月16日 に作成

  メンテナーはふだん 1 日以内に返信

• Questions around perplexity metric for language modeling

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 32/100

  huggingface/evaluate#688 · 2025年6月21日 に作成

  メンテナーはふだん 1 日以内に返信

• False/misleading instruction to use different checkpoints of BLEURT

  再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 1/5 1時間未満 初心者へのやさしさ 62/100

  huggingface/evaluate#679 · リアクション 1 件 · 2025年5月30日 に作成

  メンテナーはふだん 1 日以内に返信

• `rouge` is not available

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  huggingface/evaluate#678 · リアクション 1 件 · 2025年5月27日 に作成

  メンテナーはふだん 1 日以内に返信

• `import` is very slow

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  huggingface/evaluate#674 · リアクション 3 件 · 2025年5月22日 に作成

  メンテナーはふだん 1 日以内に返信

• comet doesn't work when gpu=0

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  huggingface/evaluate#673 · コメント 1 件 · 2025年5月21日 に作成

  メンテナーはふだん 1 日以内に返信

• Feature Request: Add support for retrieving mispredicted examples with predictions and ground truth

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  huggingface/evaluate#672 · 2025年5月13日 に作成

  メンテナーはふだん 1 日以内に返信

• Issue in evaluate.EvaluationModule.add

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 52/100

  huggingface/evaluate#670 · 2025年4月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Question: ROC_AUC metric compute signature with prediction_scores

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 25/100

  huggingface/evaluate#660 · 2025年1月8日 に作成

  メンテナーはふだん 1 日以内に返信

• Calculating F1 fails due to error(AttributeError: 'float' object has no attribute 'size')

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 45/100

  huggingface/evaluate#658 · コメント 2 件 · 2025年1月8日 に作成

  メンテナーはふだん 1 日以内に返信

• FileNotFoundError: Couldn't find a module script at /home/tooko/transformers-course/glue/glue.py.

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 30/100

  huggingface/evaluate#651 · リアクション 1 件 · 2024年12月7日 に作成

  メンテナーはふだん 1 日以内に返信

• Evaluation took so much disk

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  huggingface/evaluate#649 · 2024年11月21日 に作成

  メンテナーはふだん 1 日以内に返信

• evaluate.load() does not work while loading word_count

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  huggingface/evaluate#648 · 2024年11月15日 に作成

  メンテナーはふだん 1 日以内に返信

• TypeError: 'NoneType' object is not callable

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 30/100

  huggingface/evaluate#647 · コメント 1 件 · 2024年10月30日 に作成

  メンテナーはふだん 1 日以内に返信

• FileNotFoundError: Couldn't find a module script at /mnt/data/dingtian/exact_match/exact_match.py. Module 'exact_match' doesn't exist on the Hugging Face Hub either.

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  huggingface/evaluate#645 · コメント 1 件 · 2024年10月21日 に作成

  メンテナーはふだん 1 日以内に返信

• [FR] Binoculars as a new metric

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  huggingface/evaluate#644 · 2024年10月20日 に作成

  メンテナーはふだん 1 日以内に返信

• Perplexity for quantized models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 25/100

  huggingface/evaluate#643 · コメント 1 件 · 2024年10月17日 に作成

  メンテナーはふだん 1 日以内に返信

• ImportError: To be able to use evaluate-metric/glue, you need to install the following dependencies['scipy', 'scikit-learn'] using 'pip install scipy sklearn' for instance'

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 35/100

  huggingface/evaluate#642 · コメント 3 件 · 2024年9月24日 に作成

  メンテナーはふだん 1 日以内に返信

• Optionally stop data deletion after compute

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  huggingface/evaluate#641 · 2024年9月24日 に作成

  メンテナーはふだん 1 日以内に返信

• Perplexity for Left Padded Models

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  huggingface/evaluate#636 · 2024年9月15日 に作成

  メンテナーはふだん 1 日以内に返信

• CI parity test is broken due to FileNotFoundError

  再び着手できるかも @albertvillanova が 759 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  huggingface/evaluate#632 · 担当者 1 名 · 2024年9月12日 に作成

  メンテナーはふだん 1 日以内に返信

• `list_evaluation_modules` returns empty list

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 42/100

  huggingface/evaluate#616 · コメント 4 件 · 2024年8月23日 に作成

  メンテナーはふだん 1 日以内に返信

• Benchmark evaluation for language models.

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  huggingface/evaluate#615 · コメント 1 件 · 2024年8月19日 に作成

  メンテナーはふだん 1 日以内に返信

• Unable to compute f1 score - Throwing Value Error trying to convert a string in non english Language to integer

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  huggingface/evaluate#610 · コメント 1 件 · 2024年8月1日 に作成

  メンテナーはふだん 1 日以内に返信

• AttributeError: module 'evaluate' has no attribute 'load'

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 25/100

  huggingface/evaluate#609 · コメント 8 件 · 2024年7月31日 に作成

  メンテナーはふだん 1 日以内に返信

• [Metrics] ValueError: Expected to find locked file from process x but it doesn't exist.

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 32/100

  huggingface/evaluate#607 · コメント 1 件 · 2024年7月11日 に作成

  メンテナーはふだん 1 日以内に返信

• Gradio dependency issue

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 1/5 1〜3時間 初心者へのやさしさ 45/100

  huggingface/evaluate#602 · コメント 2 件 · 2024年6月21日 に作成

  メンテナーはふだん 1 日以内に返信

• LocalModuleTest.test_load_metric_code_eval fails with "The "code_eval" metric executes untrusted model-generated code in Python."

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  huggingface/evaluate#597 · 2024年6月8日 に作成

  メンテナーはふだん 1 日以内に返信

• Evaluation of empty strings with MAUVE results in error

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  huggingface/evaluate#593 · 2024年5月24日 に作成

  メンテナーはふだん 1 日以内に返信

• SyntaxError: closing parenthesis '}'

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 35/100

  huggingface/evaluate#592 · コメント 3 件 · 2024年5月12日 に作成

  メンテナーはふだん 1 日以内に返信

• Problems during run initial step

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 25/100

  huggingface/evaluate#590 · コメント 12 件 · 2024年5月7日 に作成

  メンテナーはふだん 1 日以内に返信

• Can't load exist dataset for evaluation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  huggingface/evaluate#589 · コメント 1 件 · 2024年5月6日 に作成

  メンテナーはふだん 1 日以内に返信

• [Question]Shall we adding a faster BLEU score calculator?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  huggingface/evaluate#586 · 2024年4月30日 に作成

  メンテナーはふだん 1 日以内に返信

• How to pass generation_kwargs to the TextGeneration evaluator ?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 25/100

  huggingface/evaluate#582 · 2024年4月25日 に作成

  メンテナーはふだん 1 日以内に返信

• [FR] Confidence intervals for metrics

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 35/100

  huggingface/evaluate#581 · 2024年4月22日 に作成

  メンテナーはふだん 1 日以内に返信

• Unable to run pip install evaluate[template]

  再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 35/100

  huggingface/evaluate#576 · コメント 1 件 · 2024年4月17日 に作成

  メンテナーはふだん 1 日以内に返信

• Perplexity metric does not apply batching correctly to tokenization

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 30/100

  huggingface/evaluate#573 · コメント 1 件 · リアクション 4 件 · 2024年4月14日 に作成

  メンテナーはふだん 1 日以内に返信

• METEOR has no option to return unaggregated results

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 52/100

  huggingface/evaluate#572 · コメント 1 件 · 2024年4月10日 に作成

  メンテナーはふだん 1 日以内に返信

• [Question] How to have no preset values sent into `.compute()`

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  huggingface/evaluate#570 · 2024年4月8日 に作成

  メンテナーはふだん 1 日以内に返信

• Allow for specify coda device in perplexity evaluation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 52/100

  huggingface/evaluate#568 · 2024年4月8日 に作成

  メンテナーはふだん 1 日以内に返信

• Cannot use it offline!

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  huggingface/evaluate#567 · コメント 1 件 · 2024年4月5日 に作成

  メンテナーはふだん 1 日以内に返信

• ValueError: Predictions and/or references don't match the expected format.

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 45/100

  huggingface/evaluate#563 · コメント 1 件 · 2024年3月20日 に作成

  メンテナーはふだん 1 日以内に返信

• It seems like evaluate.load doesnt use

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 42/100

  huggingface/evaluate#561 · 2024年3月17日 に作成

  メンテナーはふだん 1 日以内に返信

• Is perplexity correctly computed?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  huggingface/evaluate#560 · コメント 6 件 · 2024年3月15日 に作成

  メンテナーはふだん 1 日以内に返信

• the difference of your bleu and sacrebleu

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 25/100

  huggingface/evaluate#558 · コメント 1 件 · 2024年3月7日 に作成

  メンテナーはふだん 1 日以内に返信

• After fine-tuning Gemma and want to evaluate performance: AttributeError: module 'keras._tf_keras.keras' has no attribute '__internal__'

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  huggingface/evaluate#555 · 2024年3月2日 に作成

  メンテナーはふだん 1 日以内に返信