crowbook: leaderboard score from programbench 1.0.2 doesn't hold under 1.2.4
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 55/100
Piste de recherche
Start by checking how ProgramBench stores leaderboard scores and per-test results, then trace whether scoring records include the programbench version. Compare the handling of the 1.0.2 and 1.2.4 results for the cited crowbook entry. Done means clarifying whether older results are re-evaluated or retained and addressing the cross-version comparison inconsistency.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
The leaderboard's 20260508_mini-v2.2.6_gpt-5-5-xhigh entry (scored with programbench 1.0.2) has crowdagger__crowbook.ea214d7 at 2.9% (23 of 807), failing even the --help tests. Re-scoring the same submission with programbench 1.2.4 (task image pinned by digest, hidden tests at Hugging Face revision de0ddfb6) gives 67.0%, with the --help tests passing.
Are entries scored with older versions re-evaluated, or are per-test results from 1.0.2 kept as-is? If they're kept, cross-version comparisons on this task are off by a lot.
- Langage dominant
- Python
- Étoiles
- 967
- Forks
- 66
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de facebookresearch/ProgramBench
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 28/100
-
pytest-rerunfailures 16.6.1 duplicates JUnit records and inflates scoresPeut-être pris @zwzhang0107 l’a pris il y a 48 jours. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 68/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 55/100
facebookresearch/ProgramBench#60 · 1 commentaire ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
Toutes les issues de facebookresearch/ProgramBench
Issues similaires
-
good first issue priority: low size: XS testing
Difficulté 1/5 1-3 heures Accessibilité débutants 86/100
cubrid-lab/cubrid-mcp-server#385 ·
Les mainteneurs répondent en général sous 1 jour
-
good first issue priority: low size: S testing
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
cubrid-lab/cubrid-cookbook-python#447 ·
Les mainteneurs répondent en général sous 1 jour
-
Python PointcloudOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
ArduCAM/Arducam_tof_camera#125 ·
-
area:curator enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
CassioDalla/Scrinalia#150 ·
Les mainteneurs répondent en général sous 1 jour
-
Tutorial notebook: Find the leakOuvertedocumentation good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100