Red-builds study: GitHub Copilot cloud agent PRs
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Feature
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- github, github-actions, typescript
- Bereich
- data-engineering, testing-qa
Rechercherichtung
Read docs/red-builds.md and the Copilot integration work in #132, then inspect packages/diffci-cli/src/client/red-builds.ts and the diffci red-builds JSON output. Run the study using the read-only GitHub API and the specified CLI command, preserving denominators and separating Copilot PRs from all PRs. Done means a reviewed report with the requested per-repository table and notes on unrecognised job names.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
diffci red-builds (docs/red-builds.md) reads a repository's PR CI history and classifies each red build: could the change's own tests and checks have caught it before the push, or was it flaky, infrastructure, already broken on main, or CI-only? This study runs it on PRs opened by GitHub Copilot's cloud agent, to measure how many of an agent's red builds were preventable inside its own loop. It goes with the Copilot integration work in #132.
Method
- Find public repositories where Copilot's cloud agent opens PRs (head branches starting
copilot/). Use the authenticated, read-only GitHub API only, one request at a time, at least 1.2 s apart, stopping below 1,000 remaining requests. Collect no personal data. - Run
diffci red-builds <owner/repo> --runs 200 --json(CLI 0.3.45 or later) on each repository, one at a time. - Split the results into Copilot PRs (
copilot/branches, whichAGENT_BRANCHinpackages/diffci-cli/src/client/red-builds.tsalready recognises) and all other PRs. If the JSON doesn't record each run's head branch, add that to the CLI first rather than inferring it.
Report
- One row per repository: workflow, window, PR runs, red, preventable, partly, unconfirmed, shared (main already broken), CI-only, flaky, infra, and preventable runner-minutes. Show Copilot PRs and all PRs side by side.
- Keep every denominator. Preventable counts are upper bounds: classification uses job types and failure annotations, not a DiffCI plan for each commit.
- Note repositories where the job names weren't recognised and the run fell to CI-only.
Ground rules
- Read-only. No comments, issues or PRs in the studied repositories as part of this study.
- Results are published here only after a maintainer has reviewed the numbers.
- No test replays: this reads CI history only.
Help wanted: if your own repository uses Copilot's cloud agent, you can run step 2 on it and post the table row below.
- Vorherrschende Sprache
- TypeScript
- Sterne
- 0
- Forks
- 4
- Ø Merge
- 18 Std. 41 Min.
- Gemergte PRs (30 T.)
- 48
Entwicklungsumgebung
Startet den Dev-Container des Projekts im Browser, mit Ihrem eigenen GitHub-Konto.
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus DiffCI/core
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
Planner: splitParts regex is quadratic on a quote followed by many backticks, so the fuzz test fails at randomEvtl. vergeben @FredApps hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
Maintainer antworten meist innerhalb von 1 Tag
-
Agent tools: changed_files lists only the new path of a renamed fileEvtl. vergeben @FredApps hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
DiffCI/core#243 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
adapter good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
Maintainer antworten meist innerhalb von 1 Tag
Ähnliche Issues
-
agent-ready area: ui-server priority: p3 type: test
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
schlessera/brain-kit#4249 ·
Maintainer antworten meist innerhalb von 1 Tag
-
documentation tool triaged
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 73/100
can1357/oh-my-pi#19608 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
dependencies tech-debt
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
bcgov/nr-waste-plus#1549 ·
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
blixvip/solana-token-meta#17 ·
-
enhancement good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
blixvip/solana-tx-parse#18 ·