crowbook: leaderboard score from programbench 1.0.2 doesn't hold under 1.2.4
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 55/100
Línea de trabajo
Start by checking how ProgramBench stores leaderboard scores and per-test results, then trace whether scoring records include the programbench version. Compare the handling of the 1.0.2 and 1.2.4 results for the cited crowbook entry. Done means clarifying whether older results are re-evaluated or retained and addressing the cross-version comparison inconsistency.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The leaderboard's 20260508_mini-v2.2.6_gpt-5-5-xhigh entry (scored with programbench 1.0.2) has crowdagger__crowbook.ea214d7 at 2.9% (23 of 807), failing even the --help tests. Re-scoring the same submission with programbench 1.2.4 (task image pinned by digest, hidden tests at Hugging Face revision de0ddfb6) gives 67.0%, with the --help tests passing.
Are entries scored with older versions re-evaluated, or are per-test results from 1.0.2 kept as-is? If they're kept, cross-version comparisons on this task are off by a lot.
- Lenguaje dominante
- Python
- Estrellas
- 967
- Forks
- 66
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de facebookresearch/ProgramBench
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 28/100
-
pytest-rerunfailures 16.6.1 duplicates JUnit records and inflates scoresPosiblemente ocupada @zwzhang0107 la tomó hace 48 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
facebookresearch/ProgramBench#60 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
Todos los issues de facebookresearch/ProgramBench
Issues similares
-
Validate non-divisible effective batch sizes in the Unsloth LoRA backendPosiblemente ocupada @debesh-biswas la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
reflex-dev/reflex#7634 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
documentation
Dificultad 1/5 1-3 horas Aptitud para principiantes 82/100
topoteretes/cognee#6239 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
ranaroussi/yfinance#3009 ·
Los mantenedores suelen responder en 1 día
-
Test discovery aborts on GPU builds without cuStateVec: check_cuStateVec expects a failed result but set_config() now raises RuntimeErrorPosiblemente ocupada @dmeliksetian la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Qiskit/qiskit-aer#2495 ·
Los mantenedores suelen responder en 1 día