dust: golden outputs depend on the evaluating machine's disk allocation
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 2/5
- Tempo estimado
- 1-3 horas
- Facilidade para iniciantes
- 72/100
Direção de pesquisa
Comece por test_resources/test_cli/test_tree/large.bin e sua referência no_colors.golden. Em seguida, examine os outros arquivos golden do dust que comparam o uso de disco informado. Verifique como os fixtures são criados e como a saída da CLI é capturada. O trabalho estará concluído quando as saídas de referência forem estáveis independentemente do comportamento de alocação do sistema de arquivos e os testes afetados passarem.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Many dust tests in branch 746762709b06 compare stdout to golden files that record disk usage, not file length. Example: test_resources/test_cli/test_tree/large.bin is 102,400 bytes, but no_colors.golden lists it as 4.0K, as is medium.bin (51,200 bytes). That only holds on a filesystem that stores those files sparse or compressed; on a typical one the reference itself prints different numbers, so the tests fail regardless of the candidate.
Re-scoring the published 20260508_mini-v2.2.6_gpt-5-5-xhigh submission on bootandy__dust.62bf1e1 with programbench 1.2.4 gave us 74.8% against the leaderboard's 87.3%.
- Linguagem predominante
- Python
- Estrelas
- 967
- Forks
- 66
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de facebookresearch/ProgramBench
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 55/100
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 28/100
-
pytest-rerunfailures 16.6.1 duplicates JUnit records and inflates scoresTalvez já em andamento @zwzhang0107 assumiu há 48 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 68/100
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 55/100
facebookresearch/ProgramBench#60 · 1 comentário ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
Todas as issues de facebookresearch/ProgramBench
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
volcengine/OpenViking#6445 ·
Mantenedores costumam responder em até 1 dia
-
BUG:Edit Album strips spaces from the password so albums with a leading/trailing space in the password can't be editedTalvez já em andamento @ManyaJain111 assumiu hoje. Abertabug enhancement possible-duplicate
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 77/100
AOSSIE-Org/PictoPy#1637 · 4 comentários ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
deepspeedai/DeepSpeed#8884 ·
Mantenedores costumam responder em até 3 dias
-
Flaky: test_advisor_live_calibrates_an_unmeasured_circuit ranks engines by a 1.8ms sleep marginAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
flagos-ai/FlagQuantum#718 ·
Mantenedores costumam responder em até 1 dia
-
bug CI-failure high priority
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 86/100
vllm-project/afd-plugin#483 ·
Mantenedores costumam responder em até 1 dia