crowbook: leaderboard score from programbench 1.0.2 doesn't hold under 1.2.4
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 2/5
- Tempo estimado
- 1-3 horas
- Facilidade para iniciantes
- 55/100
Direção de pesquisa
Start by checking how ProgramBench stores leaderboard scores and per-test results, then trace whether scoring records include the programbench version. Compare the handling of the 1.0.2 and 1.2.4 results for the cited crowbook entry. Done means clarifying whether older results are re-evaluated or retained and addressing the cross-version comparison inconsistency.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
The leaderboard's 20260508_mini-v2.2.6_gpt-5-5-xhigh entry (scored with programbench 1.0.2) has crowdagger__crowbook.ea214d7 at 2.9% (23 of 807), failing even the --help tests. Re-scoring the same submission with programbench 1.2.4 (task image pinned by digest, hidden tests at Hugging Face revision de0ddfb6) gives 67.0%, with the --help tests passing.
Are entries scored with older versions re-evaluated, or are per-test results from 1.0.2 kept as-is? If they're kept, cross-version comparisons on this task are off by a lot.
- Linguagem predominante
- Python
- Estrelas
- 967
- Forks
- 66
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de facebookresearch/ProgramBench
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 28/100
-
pytest-rerunfailures 16.6.1 duplicates JUnit records and inflates scoresTalvez já em andamento @zwzhang0107 assumiu há 47 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 68/100
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 55/100
facebookresearch/ProgramBench#60 · 1 comentário ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
Todas as issues de facebookresearch/ProgramBench
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100
-
[Bug]: Queen's own Ollama model loses num_ctx when a running session switches to itTalvez já em andamento @anasamin26 assumiu hoje. Abertabug enhancement
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
aden-hive/hive#7508 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
llm translation
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
BerriAI/litellm#47884 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
Mantenedores costumam responder em até 1 dia
-
bug 🐛
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
netalertx/NetAlertX#1856 · 1 reação ·
Mantenedores costumam responder em até 1 dia