Copilot CLI: confirm the agentStop hook sends the agent back on a broken test
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 72/100
- Issue-Typ
- Dokumentation
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- github, node.js, typescript
- Bereich
- developer-experience, testing-qa
Rechercherichtung
Lies zuerst docs/agent-installation.md#github-copilot und führe dann npx "@diffci.com/diffci@latest" init in einem Wegwerf-Repo mit einer Testsuite aus, und untersuche die generierte .github/hooks/diffci.json, um zu sehen, wie der agentStop-Handler diffci agent-stop --agent copilot aufruft. Führe jedes Szenario in Copilot CLI aus und, wenn du kannst, umhülle den Hook-Befehl, um seine stdin-Payload zu erfassen. Fertig bedeutet ein geposteter Bericht, der Copilot-CLI-Version, OS, Ergebnisse von Schritt 3 und 4, die redigierte stdin-Payload und jede Abweichung von der Doku abdeckt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Part of #132. Nobody has run DiffCI's GitHub Copilot setup in a real session yet. This is the first check, and the one that matters most: does Copilot CLI's agentStop hook send the agent back when its change breaks a test?
You need: Copilot CLI signed in to an account with Copilot, Node.js, and any small repository with a test suite (JS/TS, Python or Go).
Steps
- In the repository, run
npx "@diffci.com/diffci@latest" initand commit nothing yet. Check that.github/hooks/diffci.jsonexists with anagentStophandler. - Start Copilot CLI in the repository and ask it to make a change that breaks an existing test (for example, change a function's return value without updating its test).
- When the agent ends its turn, the hook runs
diffci agent-stop --agent copilot. Expected: the agent gets another turn, with DiffCI's failing tests as the reason, and fixes them. After 3 failed attempts in a session, it should hand back to you. - Repeat with a change that keeps the tests passing. Expected: the agent stops normally, with no extra turn.
Please post
- Copilot CLI version, OS, and the language of the repository.
- What happened in steps 3 and 4: did the agent continue, what reason did it see, and did it stop when it should?
- The stdin payload the hook received, if you can capture it (for example by wrapping the command in the hook file to write stdin to a file). Remove anything private first.
- Anything that didn't match
docs/agent-installation.md#github-copilot.
A report is a contribution: it is credited like a PR, and sustained work on the Copilot integration is how the Area maintainer tier is offered (CONTRIBUTING.md).
- Vorherrschende Sprache
- TypeScript
- Sterne
- 0
- Forks
- 4
- Ø Merge
- 18 Std. 41 Min.
- Gemergte PRs (30 T.)
- 48
Entwicklungsumgebung
Startet den Dev-Container des Projekts im Browser, mit Ihrem eigenen GitHub-Konto.
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus DiffCI/core
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
Planner: splitParts regex is quadratic on a quote followed by many backticks, so the fuzz test fails at randomEvtl. vergeben @FredApps hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
Maintainer antworten meist innerhalb von 1 Tag
-
Agent tools: changed_files lists only the new path of a renamed fileEvtl. vergeben @FredApps hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
DiffCI/core#243 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
adapter good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
Maintainer antworten meist innerhalb von 1 Tag
Ähnliche Issues
-
agent-ready area: ui-server priority: p3 type: test
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
schlessera/brain-kit#4249 ·
Maintainer antworten meist innerhalb von 1 Tag
-
documentation tool triaged
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 73/100
can1357/oh-my-pi#19608 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
dependencies tech-debt
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
bcgov/nr-waste-plus#1549 ·
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
blixvip/solana-token-meta#17 ·
-
enhancement good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
blixvip/solana-tx-parse#18 ·