Issue in evaluate.EvaluationModule.add
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 52/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza en evaluate/src/evaluate/module.py y compara EvaluationModule.add alrededor de la línea 533 con add_batch alrededor de la línea 486. Confirma cómo se usa selected_feature_format para las features cuyos valores son listas y, después, actualiza add para que la entrada indicada se valide con respecto al formato seleccionado en lugar de la lista de features; se considera terminado cuando el caso de métrica mostrado ya no lanza el ValueError engañoso.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Unlike evaluate.EvaluationModule.add_batch, evaluate.EvaluationModule.add DOES NOT WORK with Metrics (evaluate.Metric(evaluate.EvaluationModule)) whose Features (evaluate.MetricInfo(evaluate.EvaluationModuleInfo).features) are List[datasets.Features], instead of datasets.Features. Because a list DOES NOT HAVE an encode_example Method as in Line 533 from evaluate/src/evaluate/module.py, throwing a ValueError that DOES NOT TRULY RELATE to the cause itself, as it can be seen in:
ValueError: Predictions and/or references don't match the expected format. Expected format: Feature option 0: {'predictions': Value(dtype='string', id='sequence'), 'references': Sequence(feature=Value(dtype='string', id='sequence'), length=-1, id='references')} Feature option 1: {'predictions': Value(dtype='string', id='sequence'), 'references': Value(dtype='string', id='sequence')}, Input predictions: ['void hello_world()'], Input references: ['void hello_world()']
The evaluate.EvaluationModule.add Method should instead use the selected_feature_format Field from evaluate.EvaluationModule, as in Line 486 from evaluate/src/evaluate/module.py at evaluate.EvaluationModule.add_batch.
- Lenguaje dominante
- Python
- Estrellas
- 2.5k
- Forks
- 359
- Merge medio
- 38 min
- PR fusionados (30 d)
- 4
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/evaluate
-
exact_match: ignore_punctuation only removes ASCII punctuationPosiblemente ocupada @reginaldalfret la tomó hace 3 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#836 ·
Los mantenedores suelen responder en 1 día
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargsPosiblemente ocupada @ktz03 la tomó hace 15 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
huggingface/evaluate#825 ·
Los mantenedores suelen responder en 1 día
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residuePosiblemente ocupada @MahendraMula la tomó hace 31 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
huggingface/evaluate#822 ·
Los mantenedores suelen responder en 1 día
-
Perplexity metric fails with GPT-2 tokenizerPosiblemente ocupada @zanvari la tomó hace 129 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
huggingface/evaluate#766 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
False/misleading instruction to use different checkpoints of BLEURTQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100
huggingface/evaluate#679 · 1 reacción ·
Los mantenedores suelen responder en 1 día
Todos los issues de huggingface/evaluate
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
conda-forge/conda-forge-bot#7025 ·
Los mantenedores suelen responder en 1 día
-
chore(ci): publish.yml's release-job comment counts the hand-created Releases as all of themAbiertoarea:ci
Dificultad 1/5 Menos de una hora Aptitud para principiantes 74/100
catincloud-labs/dagster-dex#149 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
home-assistant/core#188424 ·
Los mantenedores suelen responder en 1 día
-
Review backlog (docs-currency): README 'CI run' link lands on a run whose overall badge is cancelledAbiertoagent/reviewer needs-kind needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 63/100
projectbluefin/utah#880 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
redis/memtier_benchmark#850 ·
Los mantenedores suelen responder en 1 día