huggingface/evaluate

Le issue su cui forse qualcuno sta già lavorando sono in fondo alla lista. Ordina tutto per data

• EvalPort export/import helpers for bridging evaluate's aggregate-only API to portable per-example results

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  huggingface/evaluate#800 · Aperta il 20/8/2026

  I maintainer di solito rispondono entro 1 giorno

• Proposal: Make SQuAD QA F1 logic reusable as a generic QA metric in `evaluate`

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

  huggingface/evaluate#724 · Aperta il 27/12/2025

  I maintainer di solito rispondono entro 1 giorno

• FileNotFoundError: Couldn't find a module script at /workspace/[email protected]/VLM/evaluate/meteor/meteor.py. Module 'meteor' doesn't exist on the Hugging Face Hub either.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100

  huggingface/evaluate#723 · Aperta il 18/12/2025

  I maintainer di solito rispondono entro 1 giorno

• bug: huggingface-hub 1.0.0 release breaks existing evaluate releases

  Forse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 42/100

  huggingface/evaluate#712 · 7 commenti · 2 reazioni · Aperta il 28/10/2025

  I maintainer di solito rispondono entro 1 giorno

• Unable to reproduce example results using the Unbabel/wmt22-comet-da model

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  huggingface/evaluate#711 · Aperta il 16/10/2025

  I maintainer di solito rispondono entro 1 giorno

• Questions around perplexity metric for language modeling

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100

  huggingface/evaluate#688 · Aperta il 21/6/2025

  I maintainer di solito rispondono entro 1 giorno

• False/misleading instruction to use different checkpoints of BLEURT

  Forse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 62/100

  huggingface/evaluate#679 · 1 reazione · Aperta il 30/5/2025

  I maintainer di solito rispondono entro 1 giorno

• `rouge` is not available

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  huggingface/evaluate#678 · 1 reazione · Aperta il 27/5/2025

  I maintainer di solito rispondono entro 1 giorno

• `import` is very slow

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  huggingface/evaluate#674 · 3 reazioni · Aperta il 22/5/2025

  I maintainer di solito rispondono entro 1 giorno

• comet doesn't work when gpu=0

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  huggingface/evaluate#673 · 1 commento · Aperta il 21/5/2025

  I maintainer di solito rispondono entro 1 giorno

• Feature Request: Add support for retrieving mispredicted examples with predictions and ground truth

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  huggingface/evaluate#672 · Aperta il 13/5/2025

  I maintainer di solito rispondono entro 1 giorno

• Issue in evaluate.EvaluationModule.add

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 52/100

  huggingface/evaluate#670 · Aperta il 23/4/2025

  I maintainer di solito rispondono entro 1 giorno

• Question: ROC_AUC metric compute signature with prediction_scores

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  huggingface/evaluate#660 · Aperta il 8/1/2025

  I maintainer di solito rispondono entro 1 giorno

• Calculating F1 fails due to error(AttributeError: 'float' object has no attribute 'size')

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

  huggingface/evaluate#658 · 2 commenti · Aperta il 8/1/2025

  I maintainer di solito rispondono entro 1 giorno

• FileNotFoundError: Couldn't find a module script at /home/tooko/transformers-course/glue/glue.py.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

  huggingface/evaluate#651 · 1 reazione · Aperta il 7/12/2024

  I maintainer di solito rispondono entro 1 giorno

• Evaluation took so much disk

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  huggingface/evaluate#649 · Aperta il 21/11/2024

  I maintainer di solito rispondono entro 1 giorno

• evaluate.load() does not work while loading word_count

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  huggingface/evaluate#648 · Aperta il 15/11/2024

  I maintainer di solito rispondono entro 1 giorno

• TypeError: 'NoneType' object is not callable

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 30/100

  huggingface/evaluate#647 · 1 commento · Aperta il 30/10/2024

  I maintainer di solito rispondono entro 1 giorno

• FileNotFoundError: Couldn't find a module script at /mnt/data/dingtian/exact_match/exact_match.py. Module 'exact_match' doesn't exist on the Hugging Face Hub either.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  huggingface/evaluate#645 · 1 commento · Aperta il 21/10/2024

  I maintainer di solito rispondono entro 1 giorno

• [FR] Binoculars as a new metric

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  huggingface/evaluate#644 · Aperta il 20/10/2024

  I maintainer di solito rispondono entro 1 giorno

• Perplexity for quantized models

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100

  huggingface/evaluate#643 · 1 commento · Aperta il 17/10/2024

  I maintainer di solito rispondono entro 1 giorno

• ImportError: To be able to use evaluate-metric/glue, you need to install the following dependencies['scipy', 'scikit-learn'] using 'pip install scipy sklearn' for instance'

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

  huggingface/evaluate#642 · 3 commenti · Aperta il 24/9/2024

  I maintainer di solito rispondono entro 1 giorno

• Optionally stop data deletion after compute

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  huggingface/evaluate#641 · Aperta il 24/9/2024

  I maintainer di solito rispondono entro 1 giorno

• Perplexity for Left Padded Models

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  huggingface/evaluate#636 · Aperta il 15/9/2024

  I maintainer di solito rispondono entro 1 giorno

• CI parity test is broken due to FileNotFoundError

  Forse di nuovo libera @albertvillanova l’ha presa 760 giorni fa e non c’è nessuna pull request aperta. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  huggingface/evaluate#632 · 1 assegnatario · Aperta il 12/9/2024

  I maintainer di solito rispondono entro 1 giorno

• `list_evaluation_modules` returns empty list

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100

  huggingface/evaluate#616 · 4 commenti · Aperta il 23/8/2024

  I maintainer di solito rispondono entro 1 giorno

• Benchmark evaluation for language models.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  huggingface/evaluate#615 · 1 commento · Aperta il 19/8/2024

  I maintainer di solito rispondono entro 1 giorno

• Unable to compute f1 score - Throwing Value Error trying to convert a string in non english Language to integer

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  huggingface/evaluate#610 · 1 commento · Aperta il 1/8/2024

  I maintainer di solito rispondono entro 1 giorno

• AttributeError: module 'evaluate' has no attribute 'load'

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  huggingface/evaluate#609 · 8 commenti · Aperta il 31/7/2024

  I maintainer di solito rispondono entro 1 giorno

• [Metrics] ValueError: Expected to find locked file from process x but it doesn't exist.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100

  huggingface/evaluate#607 · 1 commento · Aperta il 11/7/2024

  I maintainer di solito rispondono entro 1 giorno

• Gradio dependency issue

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 1-3 ore Idoneità per principianti 45/100

  huggingface/evaluate#602 · 2 commenti · Aperta il 21/6/2024

  I maintainer di solito rispondono entro 1 giorno

• LocalModuleTest.test_load_metric_code_eval fails with "The "code_eval" metric executes untrusted model-generated code in Python."

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  huggingface/evaluate#597 · Aperta il 8/6/2024

  I maintainer di solito rispondono entro 1 giorno

• Evaluation of empty strings with MAUVE results in error

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  huggingface/evaluate#593 · Aperta il 24/5/2024

  I maintainer di solito rispondono entro 1 giorno

• SyntaxError: closing parenthesis '}'

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

  huggingface/evaluate#592 · 3 commenti · Aperta il 12/5/2024

  I maintainer di solito rispondono entro 1 giorno

• Problems during run initial step

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  huggingface/evaluate#590 · 12 commenti · Aperta il 7/5/2024

  I maintainer di solito rispondono entro 1 giorno

• Can't load exist dataset for evaluation

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  huggingface/evaluate#589 · 1 commento · Aperta il 6/5/2024

  I maintainer di solito rispondono entro 1 giorno

• [Question]Shall we adding a faster BLEU score calculator?

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  huggingface/evaluate#586 · Aperta il 30/4/2024

  I maintainer di solito rispondono entro 1 giorno

• How to pass generation_kwargs to the TextGeneration evaluator ?

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  huggingface/evaluate#582 · Aperta il 25/4/2024

  I maintainer di solito rispondono entro 1 giorno

• [FR] Confidence intervals for metrics

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  huggingface/evaluate#581 · Aperta il 22/4/2024

  I maintainer di solito rispondono entro 1 giorno

• Unable to run pip install evaluate[template]

  Forse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

  huggingface/evaluate#576 · 1 commento · Aperta il 17/4/2024

  I maintainer di solito rispondono entro 1 giorno

• Perplexity metric does not apply batching correctly to tokenization

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 30/100

  huggingface/evaluate#573 · 1 commento · 4 reazioni · Aperta il 14/4/2024

  I maintainer di solito rispondono entro 1 giorno

• METEOR has no option to return unaggregated results

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 52/100

  huggingface/evaluate#572 · 1 commento · Aperta il 10/4/2024

  I maintainer di solito rispondono entro 1 giorno

• [Question] How to have no preset values sent into `.compute()`

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  huggingface/evaluate#570 · Aperta il 8/4/2024

  I maintainer di solito rispondono entro 1 giorno

• Allow for specify coda device in perplexity evaluation

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 52/100

  huggingface/evaluate#568 · Aperta il 8/4/2024

  I maintainer di solito rispondono entro 1 giorno

• Cannot use it offline!

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  huggingface/evaluate#567 · 1 commento · Aperta il 5/4/2024

  I maintainer di solito rispondono entro 1 giorno

• ValueError: Predictions and/or references don't match the expected format.

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

  huggingface/evaluate#563 · 1 commento · Aperta il 20/3/2024

  I maintainer di solito rispondono entro 1 giorno

• It seems like evaluate.load doesnt use

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100

  huggingface/evaluate#561 · Aperta il 17/3/2024

  I maintainer di solito rispondono entro 1 giorno

• Is perplexity correctly computed?

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

  huggingface/evaluate#560 · 6 commenti · Aperta il 15/3/2024

  I maintainer di solito rispondono entro 1 giorno

• the difference of your bleu and sacrebleu

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  huggingface/evaluate#558 · 1 commento · Aperta il 7/3/2024

  I maintainer di solito rispondono entro 1 giorno

• After fine-tuning Gemma and want to evaluate performance: AttributeError: module 'keras._tf_keras.keras' has no attribute '__internal__'

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

  huggingface/evaluate#555 · Aperta il 2/3/2024

  I maintainer di solito rispondono entro 1 giorno