Webwright skill is shell-unaware on Windows — bash heredocs loop/fail with code-specialist models (gpt-5-codex / gpt-5.3-codex)
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 42/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- bash, powershell, python
- Ambito
- cli, developer-experience, documentation
Direzione di ricerca
Leggi reference/playwright_patterns.md e le istruzioni della skill Webwright, quindi riproduci l’esempio inline-Python in PowerShell su Windows. Traccia i punti in cui la skill presuppone bash e confronta il comportamento con quello dei modelli Codex segnalati. Il lavoro è completato quando le esecuzioni di PowerShell non invocano più la sintassi heredoc di bash e non ripetono più l’errore di analisi risultante.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Environment
Windows 11, Codex VS Code extension, Codex CLI 0.136.0-alpha.2
Detected shell (from environment_context): powershell
Webwright skill invoked via /webwright:run
Summary
The webwright skill instructs the agent to "drive the browser through one bash command at a time" and its reference (reference/playwright_patterns.md, the inline-Python example) demonstrates a bash heredoc (python - <<'PY' … PY). On Windows the shell is PowerShell, which cannot parse bash heredocs. Whether a run succeeds therefore depends entirely on the model being able to recognize this and deviate from the skill's examples.
Observed behavior (same machine, same skill, same shell)
gpt-5.5: recognizes it's on PowerShell, writes the script to a .py file and runs python file.py. Completes tasks in a few steps.
gpt-5-codex / gpt-5.3-codex: follow the skill's bash heredoc example literally, hit the PowerShell parse error, and retry the same broken syntax in a loop. A simple Wikipedia task took ~18 minutes; a moderately complex booking task looped for hours without converging.
Root cause
The skill's instructions and examples assume bash. Code-specialist models are tuned for tight, literal adherence to skill instructions, so they reproduce the bash heredoc verbatim instead of adapting to the reported powershell shell. There is no shell-awareness in the skill and no guardrail when the harness runs under a model that doesn't self-correct.
- Lingua principale
- Python
- Stelle
- 6k
- Fork
- 385
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/Webwright
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Tutte le issue di microsoft/Webwright
Issue simili
-
area: harness bug status: needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Human-Agent-Society/reef#625 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 80/100
learningequality/kolibri#15351 · 2 commenti ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
Name consistency Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
eellak/triplestore#65 · 1 commento ·