chore(test): trial a mutation testing tool (gremlins or go-mutesting) after the property tests land
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 15/100
Hướng nghiên cứu
This is blocked by #221, so wait for its property and fuzz tests to merge before starting. Once they have, run each candidate tool over internal/indexer and internal/graphstore, then over the changed lines of five real PRs, and classify every LIVED mutant. Done means the counts and the adoption decision are recorded in this issue, with mise.toml and mise.lock updated only if a tool is adopted.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
What kind of chore?
Test infrastructure
What needs doing?
After the property and fuzz tests from #221 land, trial a mutation testing tool. Adopt it only when the trial meets the entry test below. #221 deletes the repo's own scripts/mutation_check.py, its unit tests, task mutation-check and the mutation-check skill. Nothing replaces them until this trial decides.
Candidates
Both are active. Facts as of 2026-10-31:
go-gremlins/gremlins |
avito-tech/go-mutesting |
|
|---|---|---|
| latest release | v0.6.0, 2025-12-06 | v2.3.1, 2025-12-26 |
| install | release tarballs with a checksums file, so mise.lock records them |
no release assets, go install only |
| Go required | 1.25 | 1.27. The repo pins 1.26.10 with GOTOOLCHAIN=local, so this needs a toolchain decision first |
| scope to what changed | diff: mutates only changed lines, and coverage guidance skips uncovered lines |
targets are files or packages, no line-level diff |
| how tests run | on a copy, the tree is untouched | replaces the original file in place, then restores it |
| CI gate | threshold.efficacy and threshold.mutant-coverage |
a printed mutation score, parsed by the caller |
| mutators | 11, 5 on by default. No statement or branch removal | a larger set: branch, statement removal, loop break, numbers, expression |
| suppression | exclude-files |
inline mutator-disable-next-line comments in product source |
| license | Apache-2.0 | MIT |
Neither is assumed. The trial runs both over the same packages and the same PRs.
Entry test
- Wait for the sync-equals-reindex property and the
keyencfuzz target from #221. - Run each candidate once over
internal/indexerandinternal/graphstore. Record killed, lived, not covered, not viable, and minutes per run. - Run each candidate over the changed lines of the next five real PRs. For
go-mutesting, pass the changed files as targets. Record the same counts and minutes. - Read every
LIVEDline. Mark each one as one of three kinds. A real gap means a reviewer agrees a test is missing. Noise means an equivalent mutant. A generator gap means a property does not reach the line.
To adopt a tool as a CI gate, both of these must hold:
- At least one surviving mutant was a real gap or a generator gap that led to a stronger test.
- The per-PR cost on changed lines stayed under a few minutes.
If neither tool meets that, the outcome is still useful. Record the counts in this issue, close it, and leave the tool as something anyone can run locally.
If adopted
- Pin the tool in
mise.toml. Forgremlins, as a GitHub release withmise.lockchecksums. Forgo-mutesting, resolve the Go 1.27 requirement first. - Run it on changed lines only, through
paths-filterfrom #221, never over the whole module on every push. - The gate asserts that it mutated at least one line (rule
84d1gfpywd). A run that mutates nothing fails. - Rewrite the fix PR template's "I watched it fail before the fix" proof to accept the tool's report instead of pasted output.
- Put no tool-specific disable comments in product source.
Why now?
Not now. This issue exists so the deletion in #221 has a named successor and an entry test, instead of a silent gap. When part 3 of #221 (property and fuzz tests) merges, this trial starts.
Does this touch anything load-bearing?
- The release pipeline (
release.yml,.goreleaser.yaml, signing) - The upgrade identity (
internal/upgrade/verify.go) - The perf baseline (
tools/bench/baseline.json) - The graph schema / meta-key layout
- None of these
Before submitting
- I searched existing issues and this is not a duplicate
Blocked by #221. Related: #176 and #182 (the skill this replaces).
🤖 Generated with Claude Code
- Ngôn ngữ chính
- Go
- Star
- 0
- Fork
- 0
- Merge trung bình
- 7 giờ 42 phút
- Pull request đã merge (30 ngày)
- 111
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của seanb4t/codegraph-go
-
chore needs-triage
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
seanb4t/codegraph-go#380 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
seanb4t/codegraph-go#379 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area:query chore needs-triage spec-needed
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
seanb4t/codegraph-go#377 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore needs-triage
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 84/100
seanb4t/codegraph-go#362 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area:query bug needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
seanb4t/codegraph-go#355 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của seanb4t/codegraph-go
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
Maintainer thường phản hồi trong vòng 1 ngày
-
automated documentation maintenance
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 75/100
github/gh-aw-mcpg#16717 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Docs: Recording rules pages don't say what happens to a recorded metric when its rule is deletedĐang mởinternal
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
jesseduffield/lazygit#6229 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
prometheus/prometheus#20482 ·
Maintainer thường phản hồi trong vòng 2 ngày