[BUG] LightevalTaskConfig doesn't support comparison, but Cache management uses sorted on it
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 45/100
Línea de trabajo
Reproduce la combinación de tareas YAML del issue y rastrea cómo se expande el grupo antes de que SampleCache:_get_task_hash ordene los valores de LightevalTaskConfig. Confirma que el fallo se resuelve cuando ya no se produce la tarea duplicada y, a continuación, vuelve a ejecutar correctamente la configuración indicada.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the bug
Specify two tasks as below:
helm|boolq|0
helm|boolq:contrastset|0
The current logic will assume "helm|boolq" is a group and will add "helm|boolq:contrastset" again, then "helm|boolq:contrastset" will appear twice, later at SampleCache:_get_task_hash sorted is used to sort these two, and
an error "<" is not supported on LightevalTaskConfig is raised
To Reproduce
Specify two tasks as below in yaml:
helm|boolq|0
helm|boolq:contrastset|0
Expected behavior
Run should succeed
Version info
0.11.0
- Lenguaje dominante
- Python
- Estrellas
- 2.6k
- Forks
- 605
- Merge medio
- 2 d 3 h
- PR fusionados (30 d)
- 3
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/lighteval
-
[BUG] Belebele cf tasks fail for Latvian, Lithuanian, Maltese and Slovenian: missing translation literalsPosiblemente ocupada @inchang-ing la tomó hace 3 días. Abiertobug
Dificultad 1/5 1-3 horas Aptitud para principiantes 74/100
huggingface/lighteval#1471 ·
Los mantenedores suelen responder en 2 días
-
[BUG] Stderr of `_average` and `all` rows is the mean of the subtask stderrs (about 7x too large for MMLU)Posiblemente ocupada @Andreas-Hum la tomó hace 4 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
huggingface/lighteval#1466 ·
Los mantenedores suelen responder en 2 días
-
[BUG] Reasoning tag removal fails when <think> is part of the input promptPosiblemente ocupada @selimfedakar la tomó hace 8 días. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
huggingface/lighteval#1453 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[BUG] TruthfulQA MC2 drops true answers after a gap in gold indexesPosiblemente ocupada @salma2vec la tomó hace 16 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
huggingface/lighteval#1442 ·
Los mantenedores suelen responder en 2 días
-
[BUG] Token F1 ignores repeated words in predictions and referencesPosiblemente ocupada @salma2vec la tomó hace 16 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
huggingface/lighteval#1441 ·
Los mantenedores suelen responder en 2 días
Todos los issues de huggingface/lighteval
Issues similares
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
aws-samples/sample-per-model-bedrock#782 ·
Los mantenedores suelen responder en 1 día
-
Google text documents are base64-encoded twicePosiblemente ocupada @feiiiiii5 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
coveragepy/coveragepy#2364 ·
Los mantenedores suelen responder en 1 día
-
[Plugin] astrbot_plugin_sd_drawAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100