Validate artifact contracts after an expected nonzero program exit
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 75/100
Direzione di ricerca
Il bug si trova in tools/run_tests.py nella funzione classify_program. Inizia leggendo la funzione per vedere dove viene chiamata validate_compiled_artifact. La correzione consiste nell'assicurarsi che la convalida venga eseguita prima di restituire per uscite previste diverse da zero. Esegui lo script di riproduzione fornito per confermare il problema, quindi scrivi un test unitario per il ramo saltato. Controlla tests/cases/shared/test1.wave per un caso di test di esempio.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
In classify_program in tools/run_tests.py, the expected-nonzero success branch returns before validate_compiled_artifact. A matching exit code can therefore pass a case whose assembly/object requirements fail.
Reproduction
Run this focused unit reproduction from the repository root:
import sys
from dataclasses import replace
from unittest.mock import patch
from tools import run_tests as r
metadata = replace(
r.parse_test_metadata("tests/cases/shared/test1.wave"), expected_exit=42
)
with patch.object(r, "validate_compiled_artifact", return_value="missing assembly marker") as check:
result = r.classify_program(
"audit", "tests/cases/shared/test1.wave",
[sys.executable, "-c", "raise SystemExit(42)"], metadata, None,
)
print(result[0], check.call_count)
Save as /tmp/repro.py; run PYTHONPATH=. python3 /tmp/repro.py. The mock represents a failing artifact requirement.
Tested at 01955d715dda275de993948037091140bb859174 on Fedora Linux 43, x86_64, with Python 3.14.
Actual: PASS (expected exit=42) followed by 3 0, indicating a pass and no validator call. Expected: failure classification 0 and one validator call. Setting both exit values to 0 already produces that expected result.
Completion criteria
- Validate artifact requirements before accepting either expected-zero or expected-nonzero execution.
- Retain the runner's distinct success classifications and actual/expected exit diagnostics.
- Add a unit regression for the skipped branch and an integration case with a real missing assembly marker.
- Keep matching-exit cases with valid artifacts passing.
Compile-only object-presence checking in #514 is separate.
Difficulty: easy.
- Lingua principale
- Rust
- Stelle
- 53
- Fork
- 16
- Merge medio
- 3h 38m
- PR unite (30g)
- 48
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di wavefnd/Wave
-
enhancement good first issue needs testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
enhancement good first issue needs testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
bug ci good first issue needs testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
bug good first issue needs testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
bug good first issue os compatibility
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Tutte le issue di wavefnd/Wave
Issue simili
-
bug github_actions
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
registrystack/registry-stack#1393 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
longbridge/gpui-kit#3223 ·
-
bug engine
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
rocky-data/rocky#2181 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
oasisprotocol/oasis-sdk#2523 ·
-
[indexer] [QA] Add a focused test for the new NonRetryableError / assertSocketAlive() behavior. Apertabot:ai-assisted component:indexer QA-roadmap status:untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
midnightntwrk/midnight-indexer#1557 ·