bug(e2e): macOS script stdin EOF detaches lifecycle test sessions
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 78/100
- Type d'issue
- Bug
- Clarté
- Clairement spécifiée
- Activité
- Active
- Stack technique
- kubernetes, rust
- Domaine
- devtools, testing-qa
Piste de recherche
Commence par les tests E2E de sandbox_lifecycle et trouve les quatre tests nommés qui invoquent macOS script via la CLI. Lis comment ces tests collectent la sortie de la commande, puis exécute les tests concernés sur macOS avec la commande de reproduction de l’issue. Garde le tube stdin de script ouvert pendant la collecte de la sortie ; le travail est terminé lorsque la sortie diffusée est capturée et que les codes de sortie attendus, notamment 7 et 17, sont préservés lors d’exécutions répétées.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
User Story
I have been investigating OpenShell's E2E tests on Kubernetes. I encountered intermittent failures when running the sandbox lifecycle suite from macOS. This prevents macOS from being a trustworthy platform for validating OpenShell lifecycle behaviour.
Problem Statement
Four sandbox_lifecycle E2E tests fail intermittently or consistently when run from macOS:
canonical_main_nonzero_exit_preserves_statuscanonical_main_exit_zero_completes_persistent_sandboxsandbox_create_with_no_keep_preserves_failure_then_cleans_upsandbox_create_with_no_keep_cleans_up_after_tty_command
The tests launch the CLI through macOS script to provide a TTY. When the test runner's stdin reaches EOF, macOS script can write the terminal's VEOF value — Ctrl-D, byte 0x04 — to the PTY. Ctrl-D detach is intentional for an interactive canonical-main attachment (#3744), but here it is injected by the harness rather than typed by a user. The supervisor interprets the byte as a detach request. The tests then observe missing streamed output and an exit status of 0 instead of the command's actual status (7 or 17 in the failing tests).
Impact / Why This Matters
These are false test failures: the sandbox command can succeed or fail with its real status, while the test sees a detached session with no output and status 0. This blocks macOS validation, forces reruns, and can hide real output-forwarding or exit-status regressions. Rerunning is not a reliable workaround because the behavior is timing-dependent.
On 2026-11-17, this reproduced on upstream main 0be63c5b0de27692df03ba0e4b3bc212312d3b3c, with matching upstream source, CLI, chart and published images on macOS + OpenShift. All four unmodified tests failed. Holding the script stdin pipe open until output collection completed made all four pass against the same revision and images.
Earlier macOS + kind runs also failed without the guard and passed with it, using digest-pinned upstream images.
Acceptance Criteria
- The four affected lifecycle tests pass consistently when run repeatedly from macOS.
- Each test captures the command's expected streamed output.
- Commands with nonzero exit statuses preserve their expected exit codes (
7and17in the affected tests). - The test harness keeps script stdin open until the command completes and output collection finishes.
Reproduction Steps
- On macOS, check out upstream OpenShell at
0be63c5b0de27692df03ba0e4b3bc212312d3b3c. For OpenShift, apply the wrapper fixes from eviehoward/OpenShell#10. Leave the lifecycle tests unchanged for the initial run. - Build the CLI:
cargo build -p openshell-cli - With an existing cluster context, run the four affected tests using matching upstream images:
export OPENSHELL_E2E_KUBE_CONTEXT="$(kubectl config current-context)" export OPENSHELL_BIN="$PWD/target/debug/openshell" export OPENSHELL_E2E_KUBE_BUILD_IMAGES=0 export OPENSHELL_REGISTRY=ghcr.io/nvidia/openshell export IMAGE_TAG=0be63c5b0de27692df03ba0e4b3bc212312d3b3c e2e/with-kube-gateway.sh cargo nextest run \ --manifest-path e2e/rust/Cargo.toml --target-dir e2e/rust/target \ --features e2e-kubernetes --test sandbox_lifecycle \ --config-file .config/nextest.toml --profile e2e-kubernetes \ --no-tests fail --test-threads 1 \ -E 'test(=canonical_main_exit_zero_completes_persistent_sandbox) | test(=canonical_main_nonzero_exit_preserves_status) | test(=sandbox_create_with_no_keep_cleans_up_after_tty_command) | test(=sandbox_create_with_no_keep_preserves_failure_then_cleans_up)' - Observe missing streamed output in the zero-exit tests and status
0instead of7or17in the nonzero-exit tests. The recorded unmodified run failed all four tests in 134.003 seconds. - In each of the four affected tests, replace
cmd.output()with a spawned child whose piped stdin handle stays alive untilwait_with_output()completes:cmd.stdin(Stdio::piped()); let mut child = cmd.spawn().expect("spawn openshell sandbox create"); let _stdin_guard = child.stdin.take().expect("retain script stdin"); let output = child.wait_with_output().await.expect("wait for sandbox create"); - Repeat the same command. The recorded guarded run passed all four tests in 167.815 seconds.
Suggested UX (if applicable)
No response
Environment
- OpenShell: upstream main
0be63c5b0de27692df03ba0e4b3bc212312d3b3c; CLI built from that revision. - OS: macOS, Darwin
27.2.0, ARM64, using/usr/bin/script. - Deployment: upstream Kubernetes E2E harness on OpenShift, two AMD64 nodes running Kubernetes
v1.35.9; agent-sandboxv1.0.3. - Images:
ghcr.io/nvidia/openshell/{gateway,supervisor,sandbox}:0be63c5b0de27692df03ba0e4b3bc212312d3b3c. - Resolved registry digests with Linux AMD64 selection: gateway
sha256:c3788be7a214115001741b385170734169bcda9ad410420efde33d1742177fad; supervisorsha256:4b3fab6470e9fb7012d931e0b52fc0fbb101fbab27759c83790930feead448b0; sandboxsha256:c46b4539845b589ca0b7717f3baee57003c796ab65e4817b79f74f6d849f156c.
Logs
Current-upstream results (2026-11-17):
Original tests: Summary [134.003s] 4 tests run: 0 passed, 4 failed, 5 skipped
Stdin guard: Summary [167.815s] 4 tests run: 4 passed, 5 skipped
Minimal failure output:
thread 'canonical_main_nonzero_exit_preserves_status' panicked:
assertion `left == right` failed: unexpected result
left: Some(0)
right: Some(7)
...
thread 'sandbox_create_with_no_keep_cleans_up_after_tty_command' panicked:
main output was not streamed
...
thread 'sandbox_create_with_no_keep_preserves_failure_then_cleans_up' panicked:
ephemeral main should preserve its failure code
left: Some(0)
right: Some(17)
Historical diagnostic supervisor logging captured the explicit detach decision (not recaptured in the current-main run):
detach=true ctrl_d=true input_bytes=1 input_error=false
- Langage dominant
- Rust
- Étoiles
- 21.5k
- Forks
- 2.1k
- Merge moyen
- 2 j 20 h
- PR mergées (30 j)
- 246
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de NVIDIA/OpenShell
-
Difficulté 2/5 1-3 heures Accessibilité débutants 83/100
Les mainteneurs répondent en général sous 1 jour
-
bug: Ready=False/PodTerminating is treated as a terminal sandbox failurePeut-être pris @TaylorMutch l’a pris il y a 1 jour. Ouvertestate:accepted state:pr-opened
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
NVIDIA/OpenShell#5588 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
state:triage-needed
Difficulté 1/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 1 jour
-
state:triage-needed
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de NVIDIA/OpenShell
Issues similaires
-
ai_p2
Difficulté 2/5 1-3 heures Accessibilité débutants 80/100
ClickHouse/ClickHouse#132519 ·
Les mainteneurs répondent en général sous 1 jour
-
Pattern-clip compiler tests miss the clip cap, sort order, muted output and count/emit agreementOuvertearea: engine type: test
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
YuriiMurha/grooviq#224 ·
Les mainteneurs répondent en général sous 1 jour
-
state:needs triage
Difficulté 2/5 1-3 heures Accessibilité débutants 83/100
zed-industries/zed#67109 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
bug priority: medium
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
storytold/photocraft#15500 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
bug good first issue language priority/low
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
ZanattaMichael/meridian-core#143 ·
Les mainteneurs répondent en général sous 1 jour