Solution runner ignores non-zero exit codes
Mantenedores costumam responder em até 1 dia
Avaliação
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Facilidade para iniciantes
- 62/100
Direção de pesquisa
The payload does not name the runner file, so start by locating the solution runner and the code that compares program output with the expected answer. Reproduce with a Python solution that prints the expected answer and then calls sys.exit(1), and confirm the test currently passes. Done when a non-zero exit code marks the test as failed even when the output matches, and the failure reports the exit code and any stderr output.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
I noticed that the solution runner compares a program's output with the expected answer but doesn't check whether the program actually exited successfully.
For example, a Python solution could print the correct answer and then exit with status code 1. Since its output matches the expected result, the runner can still mark the solution as passing even though the program failed.
This makes the test results unreliable because runtime errors can go unnoticed, particularly when a program produces the expected output before crashing.
I expected the runner to treat a non-zero exit code as a failed test, even when the output matches, and provide useful error information to help identify the failure.
This can be reproduced by creating a solution that prints the expected answer and then calls sys.exit(1).
- Linguagem predominante
- Python
- Estrelas
- 1
- Forks
- 6
- Merge médio
- 12h 42min
- PRs com merge (30d)
- 10
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Sem guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de techcsispit/code-corner
-
prime/solution.java doesn't compile: public class PrimeCheck in solution.java, README requires Solution.java with a Solution classTalvez já em andamento @tanujb03 assumiu hoje. Aberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 82/100
techcsispit/code-corner#35 ·
Mantenedores costumam responder em até 1 dia
-
run.py: Python solutions are skipped on Windows when run via python instead of python3Talvez já em andamento @tanujb03 assumiu há 1 dia. Abertabug good first issue
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 15/100
techcsispit/code-corner#29 ·
Mantenedores costumam responder em até 1 dia
-
fibonacci/solution.c: prints negative numbers for n of 47 or more (F(90) prints -1581614984)Talvez já em andamento @tanujb03 assumiu há 1 dia. Abertabug good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 25/100
techcsispit/code-corner#27 ·
Mantenedores costumam responder em até 1 dia
-
binary-search/Solution.java: prints -1 when the target is the last element (`9 1 3 5 7 9`) or in a 1-element list (`5 5`)Talvez já em andamento @tanujb03 assumiu há 1 dia. Abertabug good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 22/100
techcsispit/code-corner#26 ·
Mantenedores costumam responder em até 1 dia
-
roman-numerals/solution.go: 4 prints IIII and 1994 prints MDCCCCLXXXXIIII (no subtractive forms)Talvez já em andamento @tanujb03 assumiu há 1 dia. Abertabug good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 25/100
techcsispit/code-corner#25 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de techcsispit/code-corner
Issues semelhantes
-
Claiming namespace `jft63`Abertanamespace operations
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 72/100
EclipseFdn/open-vsx.org#14043 ·
Mantenedores costumam responder em até 1 dia
-
feedback simulation workshop
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 73/100
githubnext/gh-aw-workshop#4455 ·
Mantenedores costumam responder em até 1 dia
-
Triage 🩺
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
Mantenedores costumam responder em até 1 dia
-
[BUG] Container scenario crashes without expected_recovery_time, kube DNS example uses retry_waitAbertaneeds-triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 77/100
krkn-chaos/krkn#1627 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
NousResearch/hermes-agent#136483 ·
Mantenedores costumam responder em até 1 dia