crowbook: leaderboard score from programbench 1.0.2 doesn't hold under 1.2.4
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 55/100
Piste de recherche
Start by checking how ProgramBench stores leaderboard scores and per-test results, then trace whether scoring records include the programbench version. Compare the handling of the 1.0.2 and 1.2.4 results for the cited crowbook entry. Done means clarifying whether older results are re-evaluated or retained and addressing the cross-version comparison inconsistency.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
The leaderboard's 20260508_mini-v2.2.6_gpt-5-5-xhigh entry (scored with programbench 1.0.2) has crowdagger__crowbook.ea214d7 at 2.9% (23 of 807), failing even the --help tests. Re-scoring the same submission with programbench 1.2.4 (task image pinned by digest, hidden tests at Hugging Face revision de0ddfb6) gives 67.0%, with the --help tests passing.
Are entries scored with older versions re-evaluated, or are per-test results from 1.0.2 kept as-is? If they're kept, cross-version comparisons on this task are off by a lot.
- Langage dominant
- Python
- Étoiles
- 967
- Forks
- 66
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de facebookresearch/ProgramBench
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 28/100
-
pytest-rerunfailures 16.6.1 duplicates JUnit records and inflates scoresPeut-être pris @zwzhang0107 l’a pris il y a 48 jours. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 68/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 55/100
facebookresearch/ProgramBench#60 · 1 commentaire ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
Toutes les issues de facebookresearch/ProgramBench
Issues similaires
-
[Bug]: Revit selector reads process ids 2000-2099 as years (flaky AgentClientTests.AYearOrAProcessIdSelectsTheHost)Peut-être pris @Wurschdhaud l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 83/100
pyrevitlabs/pyRevit#3817 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 85/100
521xueweihan/HelloGitHub#4074 ·
-
follow-up
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
Les mainteneurs répondent en général sous 1 jour
-
Helm chart: allow setting ingressClassName on the IngressPeut-être pris @commarla l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
pgadmin-org/pgadmin4#10658 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100