Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Bug]: Generated PR bodies say "Not run" under Testing even when the thread ran the tests

Aperta Adatta ai principianti
  • Qualcosa non va?
#16,737 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
62/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
typescript
Ambito
tooling

Direzione di ricerca

Inizia da buildPrContentPrompt in apps/server/src/textGeneration/TextGenerationPrompts.ts e leggi il prompt che assembla quando non esiste un template di PR; poi traccia i suoi chiamanti per vedere quale contesto (trascrizione della thread, chiamate a strumenti, esecuzioni di test) è disponibile in quel punto di chiamata. Controlla se esistono test intorno alla generazione del corpo della PR/del prompt per capire dove vivrebbe un controllo di regression. "Done" significa che la sezione ## Testing riflette verifiche che sono effettivamente state eseguite, oppure è omessa/formulata in modo neutro quando l'autore non ha evidenze — nota che l'issue lascia la direzione esatta alla decisione dei maintainer, quindi conferma l'approccio preferito prima di modifiche importanti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug via-triage
Before submitting
  • I searched existing issues and did not find a duplicate.
  • I included enough detail to reproduce or investigate the problem.
Area

apps/server

Steps to reproduce
  1. Open a project whose repo has no PR template
  2. In a thread, have the agent make a change and run the tests, for example bun test, and confirm they pass in the transcript.
  3. Use the commit and create PR action.
  4. Read the generated PR body.
Expected behavior

The ## Testing section reflects the checks that actually ran in the thread. If the writer has no information about testing, it should leave the section out or say so neutrally, rather than stating that tests were not run.

Actual behavior

The Testing section almost always says "Not run." or "Not run in this change request.", even when the thread ran and passed the tests. Reviewers read that as a statement that the change wasn't tested.

This comes from buildPrContentPrompt in apps/server/src/textGeneration/TextGenerationPrompts.ts. When there's no template, the prompt requires:

- body must be markdown and include headings '## Summary' and '## Testing'
- under Testing, include bullet points with concrete checks or 'Not run' where appropriate

but the only inputs are the base and head branches, the commit summary, the diff stat and the diff patch. The writer never sees the thread or its tool calls, so it can't know about any checks. It has to fill a required section, and 'Not run' is the fallback the prompt offers, so it picks that.

A user reported the same thing in #264 ("it somehow always adds to my PR description, that the tests and ci did not run... even though the agent clearly said it was validated"). #264 was closed with PR template support, which only helps repos that have a template. The default path still produces this.

Possible directions, for maintainers to decide:

  • Pass a short summary of the thread's verification commands and their exit status into the PR prompt.
  • Make ## Testing optional when the writer has no evidence, and drop 'Not run' as the suggested fallback.
Impact

Minor bug or occasional failure

Version or commit

0.0.46-nightly.20261006.2752

Environment

Kubuntu 26.04, T3 Code Nightly desktop. The source control writer is GPT-6 Luna (low, fast), but the cause seems to be the prompt, not the model.

Logs or stack traces
Screenshots, recordings, or supporting files

No response

Workaround
  • Add a PR template without a Testing section, or
  • set custom writing instructions to leave out the Testing section, or
  • have the agent open the PR itself by asking it to.
Lingua principale
TypeScript
Stelle
24.8k
Fork
6.4k
Merge medio
13h 9m
PR unite (30g)
271

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di pingdotgg/t3code

Tutte le issue di pingdotgg/t3code

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.