Test runner reports success when no solutions are executed
維護者通常 1 天內回覆
@vivek-3728 已經在處理了。
開始於 2026年10月19日。
評估
研究方向
從 run.py 開始，這裡由問題和語言篩選器選擇解答，並透過最終結束狀態檢查是否有失敗。執行 issue 中的兩個範例命令，重現空執行卻成功結束的情況。更新處理方式，讓空選擇會被回報，並以非零狀態結束；確認符合條件的解答仍可正常執行。
由索引模型根據 Issue 內容生成。
描述
I noticed that the test runner reports a successful result even when the requested problem or language doesn't match any solutions.
For example, I tested:
python run.py does-not-exist
python run.py prime --lang rs
Both commands produced:
Summary: 0 passed, 0 failed, 0 skipped
The exit code was 0 in both cases. I repeated the tests twice and got the same results.
I expected the runner to report that no matching solutions were found and exit with a nonzero status, rather than treating an empty test run as successful.
Looking through run.py, the problem and language filters can exclude every available solution. However, the final exit status only checks whether any tests failed.
When nothing runs, the failure counter remains zero, so the runner reports success.
This could cause problems in automated verification. For example, a typo in a CI command or an incorrect language selection could skip every test while the pipeline still appears green.
A successful verification run should confirm that at least one matching solution was actually checked. If the selection is empty, the runner should report that explicitly instead of returning success.
- 主要語言
- Python
- 星號
- 1
- 分支
- 6
- 平均合併
- 22 小時 23 分鐘
- 30 天內合併 PR
- 22
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 沒有貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
techcsispit/code-corner 的其他 Issue
-
prime/solution.java doesn't compile: public class PrimeCheck in solution.java, README requires Solution.java with a Solution class可能已有人在做 @tanujb03 於 10 天前認領。 未關閉bug good first issue
難度 1/5 1 小時以內 新手友好度 82/100
techcsispit/code-corner#35 ·
維護者通常 1 天內回覆
-
Failed compilations always report 0.000 seconds可能已有人在做 @Nik-2208 於 7 天前認領。 未關閉bug good first issue
難度 2/5 1-3 小時 新手友好度 35/100
techcsispit/code-corner#37 · 1 則留言 · 已指派 1 人 ·
維護者通常 1 天內回覆
查看 techcsispit/code-corner 的全部 Issue
相似的 Issue
-
bug documentation
難度 2/5 1-3 小時 新手友好度 78/100
awslabs/visual-asset-management-system#514 ·
維護者通常 1 天內回覆
-
backend bug spec:REQ-053
難度 2/5 1-3 小時 新手友好度 66/100
nolte/kamerplanter#2547 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 75/100
EleutherAI/lm-evaluation-harness#4425 ·
維護者通常 1 天內回覆
-
Gemini: respect PLANNING_DISABLED=1 in lifecycle context hooks可能已有人在做 @AmariAugustin 今天認領。 未關閉bug good first issue help wanted
難度 2/5 1-3 小時 新手友好度 87/100
OthmanAdi/planning-with-files#329 · 1 則留言 ·
維護者通常 1 天內回覆
-
wr.dynamodb.read_items returns [{}] for a single partition value that does not exist可能已有人在做 @auraseb 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 84/100
aws/aws-sdk-pandas#3520 ·
維護者通常 2 天內回覆