Solution runner can exceed the configured timeout and keep CI running
Les mainteneurs répondent en général sous 1 jour
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 48/100
Piste de recherche
Start by reading run.py and the GitHub Actions workflow; trace how the per-test timeout is applied and how compilation is launched. Run the existing test suite and inspect how the runner handles timed-out processes. Done means compilation and total execution have separate limits, spawned processes are cleaned up, and the workflow has an appropriate job timeout.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
I noticed that the solution runner doesn't properly limit how long a submitted solution can run.
The configured timeout is applied separately to each test case rather than to the solution's total execution time. Compilation also doesn't appear to have any timeout.
For example, I tested four cases that each took around 0.35 seconds. All four passed with a configured timeout of just 1 second, even though the total execution took approximately 1.55 seconds.
With the current behavior, 100 test cases and a 10-second timeout could potentially keep a solution running for around 1,000 seconds. A compilation process that hangs could also block the runner indefinitely.
I expected the runner to enforce an overall execution limit so that a submitted solution couldn't occupy CI resources for much longer than intended.
Looking through run.py, the timeout is applied inside the loop that executes individual test cases, while the compilation step has no timeout. The GitHub Actions workflow also doesn't define a job-level timeout.
This could become a bigger problem with submissions that run slowly, generate excessive output, or start additional processes.
It would be useful to enforce separate compilation and overall execution limits, along with proper cleanup of spawned processes and safeguards against excessive resource usage.
- Langage dominant
- Python
- Étoiles
- 1
- Forks
- 6
- Merge moyen
- 17 h 52 min
- PR mergées (30 j)
- 14
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de techcsispit/code-corner
-
prime/solution.java doesn't compile: public class PrimeCheck in solution.java, README requires Solution.java with a Solution classPeut-être pris @tanujb03 l’a pris il y a 2 jours. Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 82/100
techcsispit/code-corner#35 ·
Les mainteneurs répondent en général sous 1 jour
-
Prime solution in C++ incorrectly returns true for some composite numbersPeut-être pris @paramsj l’a pris il y a 1 jour. Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 25/100
techcsispit/code-corner#38 ·
Les mainteneurs répondent en général sous 1 jour
-
Failed compilations always report 0.000 secondsPeut-être pris @Shivangi-singh18 l’a pris il y a 1 jour. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 35/100
techcsispit/code-corner#37 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
run.py: Python solutions are skipped on Windows when run via python instead of python3Peut-être pris @tanujb03 l’a pris il y a 2 jours. Ouvertebug good first issue
Difficulté 1/5 Moins d'une heure Accessibilité débutants 15/100
techcsispit/code-corner#29 ·
Les mainteneurs répondent en général sous 1 jour
-
fibonacci/solution.c: prints negative numbers for n of 47 or more (F(90) prints -1581614984)Peut-être pris @tanujb03 l’a pris il y a 2 jours. Ouvertebug good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 25/100
techcsispit/code-corner#27 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de techcsispit/code-corner
Issues similaires
-
pulp-cli 0.41 break username password auth in older configs (cert and key present but empty)Ouvertebug Triage-Needed
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
FuRongJun-1999/dsh-memory#170 ·
Les mainteneurs répondent en général sous 1 jour
-
[开源推荐] 打拼音就出篆书的输入法，附古文字创作小工具Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 82/100
521xueweihan/HelloGitHub#3940 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100