huggingface/evaluate

Las issues en las que quizá ya trabaja alguien aparecen al final. Ordenar todo por fecha

• EvalPort export/import helpers for bridging evaluate's aggregate-only API to portable per-example results

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

  huggingface/evaluate#800 · Abierto el 20/8/2026

  Los mantenedores suelen responder en 1 día

• Proposal: Make SQuAD QA F1 logic reusable as a generic QA metric in `evaluate`

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

  huggingface/evaluate#724 · Abierto el 27/12/2025

  Los mantenedores suelen responder en 1 día

• FileNotFoundError: Couldn't find a module script at /workspace/[email protected]/VLM/evaluate/meteor/meteor.py. Module 'meteor' doesn't exist on the Hugging Face Hub either.

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 48/100

  huggingface/evaluate#723 · Abierto el 18/12/2025

  Los mantenedores suelen responder en 1 día

• bug: huggingface-hub 1.0.0 release breaks existing evaluate releases

  Quizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 42/100

  huggingface/evaluate#712 · 7 comentarios · 2 reacciones · Abierto el 28/10/2025

  Los mantenedores suelen responder en 1 día

• Unable to reproduce example results using the Unbabel/wmt22-comet-da model

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  huggingface/evaluate#711 · Abierto el 16/10/2025

  Los mantenedores suelen responder en 1 día

• Questions around perplexity metric for language modeling

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 32/100

  huggingface/evaluate#688 · Abierto el 21/6/2025

  Los mantenedores suelen responder en 1 día

• False/misleading instruction to use different checkpoints of BLEURT

  Quizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100

  huggingface/evaluate#679 · 1 reacción · Abierto el 30/5/2025

  Los mantenedores suelen responder en 1 día

• `rouge` is not available

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

  huggingface/evaluate#678 · 1 reacción · Abierto el 27/5/2025

  Los mantenedores suelen responder en 1 día

• `import` is very slow

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  huggingface/evaluate#674 · 3 reacciones · Abierto el 22/5/2025

  Los mantenedores suelen responder en 1 día

• comet doesn't work when gpu=0

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

  huggingface/evaluate#673 · 1 comentario · Abierto el 21/5/2025

  Los mantenedores suelen responder en 1 día

• Feature Request: Add support for retrieving mispredicted examples with predictions and ground truth

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

  huggingface/evaluate#672 · Abierto el 13/5/2025

  Los mantenedores suelen responder en 1 día

• Issue in evaluate.EvaluationModule.add

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100

  huggingface/evaluate#670 · Abierto el 23/4/2025

  Los mantenedores suelen responder en 1 día

• Question: ROC_AUC metric compute signature with prediction_scores

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

  huggingface/evaluate#660 · Abierto el 8/1/2025

  Los mantenedores suelen responder en 1 día

• Calculating F1 fails due to error(AttributeError: 'float' object has no attribute 'size')

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

  huggingface/evaluate#658 · 2 comentarios · Abierto el 8/1/2025

  Los mantenedores suelen responder en 1 día

• FileNotFoundError: Couldn't find a module script at /home/tooko/transformers-course/glue/glue.py.

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 30/100

  huggingface/evaluate#651 · 1 reacción · Abierto el 7/12/2024

  Los mantenedores suelen responder en 1 día

• Evaluation took so much disk

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

  huggingface/evaluate#649 · Abierto el 21/11/2024

  Los mantenedores suelen responder en 1 día

• evaluate.load() does not work while loading word_count

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

  huggingface/evaluate#648 · Abierto el 15/11/2024

  Los mantenedores suelen responder en 1 día

• TypeError: 'NoneType' object is not callable

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 30/100

  huggingface/evaluate#647 · 1 comentario · Abierto el 30/10/2024

  Los mantenedores suelen responder en 1 día

• FileNotFoundError: Couldn't find a module script at /mnt/data/dingtian/exact_match/exact_match.py. Module 'exact_match' doesn't exist on the Hugging Face Hub either.

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

  huggingface/evaluate#645 · 1 comentario · Abierto el 21/10/2024

  Los mantenedores suelen responder en 1 día

• [FR] Binoculars as a new metric

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  huggingface/evaluate#644 · Abierto el 20/10/2024

  Los mantenedores suelen responder en 1 día

• Perplexity for quantized models

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100

  huggingface/evaluate#643 · 1 comentario · Abierto el 17/10/2024

  Los mantenedores suelen responder en 1 día

• ImportError: To be able to use evaluate-metric/glue, you need to install the following dependencies['scipy', 'scikit-learn'] using 'pip install scipy sklearn' for instance'

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100

  huggingface/evaluate#642 · 3 comentarios · Abierto el 24/9/2024

  Los mantenedores suelen responder en 1 día

• Optionally stop data deletion after compute

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

  huggingface/evaluate#641 · Abierto el 24/9/2024

  Los mantenedores suelen responder en 1 día

• Perplexity for Left Padded Models

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  huggingface/evaluate#636 · Abierto el 15/9/2024

  Los mantenedores suelen responder en 1 día

• CI parity test is broken due to FileNotFoundError

  Quizá libre de nuevo @albertvillanova la tomó hace 758 días y no hay ningún pull request abierto. Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  huggingface/evaluate#632 · 1 asignado · Abierto el 12/9/2024

  Los mantenedores suelen responder en 1 día

• `list_evaluation_modules` returns empty list

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 42/100

  huggingface/evaluate#616 · 4 comentarios · Abierto el 23/8/2024

  Los mantenedores suelen responder en 1 día

• Benchmark evaluation for language models.

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  huggingface/evaluate#615 · 1 comentario · Abierto el 19/8/2024

  Los mantenedores suelen responder en 1 día

• Unable to compute f1 score - Throwing Value Error trying to convert a string in non english Language to integer

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

  huggingface/evaluate#610 · 1 comentario · Abierto el 1/8/2024

  Los mantenedores suelen responder en 1 día

• AttributeError: module 'evaluate' has no attribute 'load'

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

  huggingface/evaluate#609 · 8 comentarios · Abierto el 31/7/2024

  Los mantenedores suelen responder en 1 día

• [Metrics] ValueError: Expected to find locked file from process x but it doesn't exist.

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 32/100

  huggingface/evaluate#607 · 1 comentario · Abierto el 11/7/2024

  Los mantenedores suelen responder en 1 día

• Gradio dependency issue

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 1/5 1-3 horas Aptitud para principiantes 45/100

  huggingface/evaluate#602 · 2 comentarios · Abierto el 21/6/2024

  Los mantenedores suelen responder en 1 día

• LocalModuleTest.test_load_metric_code_eval fails with "The "code_eval" metric executes untrusted model-generated code in Python."

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

  huggingface/evaluate#597 · Abierto el 8/6/2024

  Los mantenedores suelen responder en 1 día

• Evaluation of empty strings with MAUVE results in error

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  huggingface/evaluate#593 · Abierto el 24/5/2024

  Los mantenedores suelen responder en 1 día

• SyntaxError: closing parenthesis '}'

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100

  huggingface/evaluate#592 · 3 comentarios · Abierto el 12/5/2024

  Los mantenedores suelen responder en 1 día

• Problems during run initial step

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

  huggingface/evaluate#590 · 12 comentarios · Abierto el 7/5/2024

  Los mantenedores suelen responder en 1 día

• Can't load exist dataset for evaluation

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

  huggingface/evaluate#589 · 1 comentario · Abierto el 6/5/2024

  Los mantenedores suelen responder en 1 día

• [Question]Shall we adding a faster BLEU score calculator?

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  huggingface/evaluate#586 · Abierto el 30/4/2024

  Los mantenedores suelen responder en 1 día

• How to pass generation_kwargs to the TextGeneration evaluator ?

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

  huggingface/evaluate#582 · Abierto el 25/4/2024

  Los mantenedores suelen responder en 1 día

• [FR] Confidence intervals for metrics

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

  huggingface/evaluate#581 · Abierto el 22/4/2024

  Los mantenedores suelen responder en 1 día

• Unable to run pip install evaluate[template]

  Quizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100

  huggingface/evaluate#576 · 1 comentario · Abierto el 17/4/2024

  Los mantenedores suelen responder en 1 día

• Perplexity metric does not apply batching correctly to tokenization

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 30/100

  huggingface/evaluate#573 · 1 comentario · 4 reacciones · Abierto el 14/4/2024

  Los mantenedores suelen responder en 1 día

• METEOR has no option to return unaggregated results

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100

  huggingface/evaluate#572 · 1 comentario · Abierto el 10/4/2024

  Los mantenedores suelen responder en 1 día

• [Question] How to have no preset values sent into `.compute()`

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

  huggingface/evaluate#570 · Abierto el 8/4/2024

  Los mantenedores suelen responder en 1 día

• Allow for specify coda device in perplexity evaluation

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100

  huggingface/evaluate#568 · Abierto el 8/4/2024

  Los mantenedores suelen responder en 1 día

• Cannot use it offline!

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

  huggingface/evaluate#567 · 1 comentario · Abierto el 5/4/2024

  Los mantenedores suelen responder en 1 día

• ValueError: Predictions and/or references don't match the expected format.

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

  huggingface/evaluate#563 · 1 comentario · Abierto el 20/3/2024

  Los mantenedores suelen responder en 1 día

• It seems like evaluate.load doesnt use

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 42/100

  huggingface/evaluate#561 · Abierto el 17/3/2024

  Los mantenedores suelen responder en 1 día

• Is perplexity correctly computed?

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  huggingface/evaluate#560 · 6 comentarios · Abierto el 15/3/2024

  Los mantenedores suelen responder en 1 día

• the difference of your bleu and sacrebleu

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

  huggingface/evaluate#558 · 1 comentario · Abierto el 7/3/2024

  Los mantenedores suelen responder en 1 día

• After fine-tuning Gemma and want to evaluate performance: AttributeError: module 'keras._tf_keras.keras' has no attribute '__internal__'

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

  huggingface/evaluate#555 · Abierto el 2/3/2024

  Los mantenedores suelen responder en 1 día