feat(bench): track benchmark and memory results over time instead of a single-run gate
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 12/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- github, github-actions, go
- Lĩnh vực
- build-system, observability, performance
Hướng nghiên cứu
Start with the regression job in .github/workflows/bench.yml and the baseline in tools/bench/baseline.json, then find CheckRegression to see why it stops at the first failure. The issue asks for an OpenSpec change to PERF-02 and INDX-06 before any code, and the tool choice (github-action-benchmark or Bencher) is left to the spec. Done means a spec is agreed, the tool is picked, and a per-phase metrics output is designed, which is design work rather than a first contribution.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
What exists today?
The regression job in .github/workflows/bench.yml runs each night. It indexes the synthetic corpus three times, takes the median, and compares it with one stored baseline in tools/bench/baseline.json. It fails at a 10% throughput drop, at 15% more peak RSS, or above 4 GiB. It never blocks a merge. The publish job reports absolute numbers each week.
How does it behave now?
The gate measures the host as much as the code, and it keeps no history.
- Two runs on the same commit differed by 21% in throughput (#252).
- After #250, the three trials of one night spread by up to 12% in peak RSS.
- The job failed every night from 3 to 7 November. On three of those nights, its message named only throughput, because
CheckRegressionreturns at its first failure. The 40% RSS growth from #250 stayed hidden. - No one can see when a number started to move, or which phase of an index moved it. The #265 investigation rebuilt that by hand from profiles.
How should it behave?
- Each nightly run and each dispatch records its results as a time series. The series holds throughput, peak RSS, query latency, node and edge counts, and numbers per phase of an index (extract, resolve, write): bytes allocated, live heap at the end of the phase, GC cycles and batch bytes.
- The binary reports the per-phase numbers from
runtime/metrics, so the runner reads them and no profile is needed. - A page shows the series as charts. An alert fires on a change that lasts over several runs, with a statistical threshold, and not on one run.
- Optional: a pull request that changes Go code gets a report of a paired comparison. The job builds the base and the head on one runner, alternates their trials, and compares them with
benchstat. The report does not block the merge. - The tool comes from OSS. The candidates are
github-action-benchmarkand Bencher. The spec picks one, and the implementation checks its current version.
This issue replaces #252.
What kind of improvement?
Performance
Would this change existing behavior?
Yes. The nightly job stops being a pass or fail result from one run against one baseline. That changes PERF-02 and INDX-06, so it needs an OpenSpec change first. If the binary reports per-phase numbers through a new flag or output, that flag is a change to the CLI surface, and the spec names it.
🤖 Generated with Claude Code
- Ngôn ngữ chính
- Go
- Star
- 0
- Fork
- 0
- Merge trung bình
- 7 giờ 42 phút
- Pull request đã merge (30 ngày)
- 111
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của seanb4t/codegraph-go
-
chore needs-triage
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
seanb4t/codegraph-go#380 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
seanb4t/codegraph-go#379 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area:query chore needs-triage spec-needed
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
seanb4t/codegraph-go#377 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore needs-triage
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 84/100
seanb4t/codegraph-go#362 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area:query bug needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
seanb4t/codegraph-go#355 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của seanb4t/codegraph-go
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
Maintainer thường phản hồi trong vòng 1 ngày
-
automated documentation maintenance
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 75/100
github/gh-aw-mcpg#16717 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Docs: Recording rules pages don't say what happens to a recorded metric when its rule is deletedĐang mởinternal
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
jesseduffield/lazygit#6229 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
prometheus/prometheus#20482 ·
Maintainer thường phản hồi trong vòng 2 ngày