Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Bug]: Generated PR bodies say "Not run" under Testing even when the thread ran the tests

Đã đóng Phù hợp với người mới
  • Có gì không ổn?
#16,737 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@luhagel đang làm issue này rồi.

Từ ngày 11/10/2026.

  • #18291 của @luhagel — đang mở

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
62/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
typescript
Lĩnh vực
tooling

Hướng nghiên cứu

Bắt đầu với buildPrContentPrompt trong apps/server/src/textGeneration/TextGenerationPrompts.ts và đọc prompt mà hàm này ghép khi không tồn tại mẫu PR; sau đó lần theo các nơi gọi nó để xem ngữ cảnh (bản ghi hội thoại, lời gọi công cụ, lần chạy test) nào khả dụng tại điểm gọi đó. Kiểm tra các test hiện có quanh việc sinh phần thân PR/prompt để xem kiểm tra hồi quy nên nằm ở đâu. Xong nghĩa là phần ## Testing phản ánh các kiểm tra thực sự đã chạy, hoặc bị lược bỏ/được viết trung lập khi người viết không có bằng chứng — lưu ý rằng issue để lại hướng cụ thể cho maintainers quyết định, vì vậy hãy xác nhận cách tiếp cận ưa thích trước khi thay đổi lớn.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug via-triage
Before submitting
  • I searched existing issues and did not find a duplicate.
  • I included enough detail to reproduce or investigate the problem.
Area

apps/server

Steps to reproduce
  1. Open a project whose repo has no PR template
  2. In a thread, have the agent make a change and run the tests, for example bun test, and confirm they pass in the transcript.
  3. Use the commit and create PR action.
  4. Read the generated PR body.
Expected behavior

The ## Testing section reflects the checks that actually ran in the thread. If the writer has no information about testing, it should leave the section out or say so neutrally, rather than stating that tests were not run.

Actual behavior

The Testing section almost always says "Not run." or "Not run in this change request.", even when the thread ran and passed the tests. Reviewers read that as a statement that the change wasn't tested.

This comes from buildPrContentPrompt in apps/server/src/textGeneration/TextGenerationPrompts.ts. When there's no template, the prompt requires:

- body must be markdown and include headings '## Summary' and '## Testing'
- under Testing, include bullet points with concrete checks or 'Not run' where appropriate

but the only inputs are the base and head branches, the commit summary, the diff stat and the diff patch. The writer never sees the thread or its tool calls, so it can't know about any checks. It has to fill a required section, and 'Not run' is the fallback the prompt offers, so it picks that.

A user reported the same thing in #264 ("it somehow always adds to my PR description, that the tests and ci did not run... even though the agent clearly said it was validated"). #264 was closed with PR template support, which only helps repos that have a template. The default path still produces this.

Possible directions, for maintainers to decide:

  • Pass a short summary of the thread's verification commands and their exit status into the PR prompt.
  • Make ## Testing optional when the writer has no evidence, and drop 'Not run' as the suggested fallback.
Impact

Minor bug or occasional failure

Version or commit

0.0.46-nightly.20261006.2752

Environment

Kubuntu 26.04, T3 Code Nightly desktop. The source control writer is GPT-6 Luna (low, fast), but the cause seems to be the prompt, not the model.

Logs or stack traces
Screenshots, recordings, or supporting files

No response

Workaround
  • Add a PR template without a Testing section, or
  • set custom writing instructions to leave out the Testing section, or
  • have the agent open the PR itself by asking it to.
Ngôn ngữ chính
TypeScript
Star
24.8k
Fork
6.4k
Merge trung bình
10 giờ 8 phút
Pull request đã merge (30 ngày)
323

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của pingdotgg/t3code

Tất cả issue của pingdotgg/t3code

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.