Feature Request: Add support for retrieving mispredicted examples with predictions and ground truth
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
El issue no menciona archivos, tests ni puntos de entrada. Empieza rastreando cómo la biblioteca evaluate recibe las predicciones y el ground truth; después determina una API para exponer ejemplos mal predichos y define cómo se verificaría la finalización con coverage para las predicciones incorrectas.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
First of all, thank you for the great work on the evaluate library — it's been incredibly useful for benchmarking and analyzing model performance!
I’d like to suggest a feature idea that could enhance the interpretability and debugging process when evaluating models. Specifically, it would be great if evaluate could provide a way to retrieve the list of mispredicted examples, including both the model's prediction and the corresponding ground truth.
This could be especially useful for Creating visualizations or reports of incorrect predictions
Thanks again 🙌
- Lenguaje dominante
- Python
- Estrellas
- 2.5k
- Forks
- 366
- Merge medio
- 48 min
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/evaluate
-
exact_match: ignore_punctuation only removes ASCII punctuationPosiblemente ocupada @reginaldalfret la tomó hace 7 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#836 ·
Los mantenedores suelen responder en 1 día
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargsPosiblemente ocupada @ktz03 la tomó hace 19 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
huggingface/evaluate#825 ·
Los mantenedores suelen responder en 1 día
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residuePosiblemente ocupada @MahendraMula la tomó hace 36 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#822 ·
Los mantenedores suelen responder en 1 día
-
Perplexity metric fails with GPT-2 tokenizerPosiblemente ocupada @zanvari la tomó hace 133 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
huggingface/evaluate#766 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
False/misleading instruction to use different checkpoints of BLEURTQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100
huggingface/evaluate#679 · 1 reacción ·
Los mantenedores suelen responder en 1 día
Todos los issues de huggingface/evaluate
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Graphify-Labs/graphify#4860 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
:bug: Bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
scikit-image/scikit-image#8377 ·
Los mantenedores suelen responder en 1 día
-
Ingredient import validation accepts negative nutrient values and NaNPosiblemente ocupada @LukeSekai la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
wger-project/wger#2564 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
apache/ponymail-foal#351 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
Los mantenedores suelen responder en 4 días