selftest: count-unspec-canary is seed-dependent and goes red ~0.24% of selftests on a correct tree
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 22/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Lĩnh vực
- testing-qa
Hướng nghiên cứu
The flake comes from corpus/lua-tests/math.lua line 845, which calls math.randomseed() with no argument, so the count-unspec-canary plant in tools/selftest.sh (lines 79-82) grades lua-count with --repeat 20 against a floor set in tools/grade.sh line 417. Read the grade floor logic and the self-test row in tests/gut.sh first. Done means the plant's verdict is independent of the time-derived seed, with 1,000 consecutive clean runs or a stated false-red bound, and the row still goes red when the floor is gutted.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Found while timing #71 (hq#58 Wave 2). The selftest plant count-unspec-canary can go red on a correct tree. Main has not changed since c650143.
Observed: run 41349374525 attempt 3, job 124982803346, step RUN selftest. The same head was green on attempts 1 and 2, and the failing step runs before any of #71's changes take effect:
PLANT count-unspec-canary expected=math.lua=PASS nextvar.lua=PASS rc=0 got=math.lua=FAIL nextvar.lua=PASS rc=1 WRONG
Mechanism:
corpus/lua-tests/math.lua:845callsmath.randomseed()with no argument, so the seed comes from the time and an address.- The statistics loops that follow then run a seed-dependent number of asserts.
- The plant (
tools/selftest.sh:79-82) gradeslua-countwith--repeat 20. tools/grade.sh:417setsfloor = lo * 0.60, wherelois the minimum of 20 reference runs. Any of the 20 candidate runs that falls below that floor turns the row FAIL.
Measured: 9,000 runs of .ref/bin/lua-count math.lua.
- Counts ran from a minimum of 25,699 to a maximum of 237,979, with a median of about 78.6k.
- rc was 0 every time, and the digit-free output had the same md5 every time.
- Under the plant's rule, that distribution gives an estimated ~0.24% false red per selftest, about 1 in 420.
- In the collector's 84 earlier suite logs it was never red, which fits that rate.
- Load does not change it. The distribution measured while a 4-lane fuzz ran was the same as without it (KS D=0.0147, 5% critical value 0.0304).
This is a gate that can go red without a bug. It was not a liar in the false-green direction, but a flaky plant trains people to rerun red.
Done when:
- The plant's verdict no longer depends on the time-derived seed. For example: fixed-seed or fixed-count inputs for the plant, or a floor taken from a reference sample with a stated false-red bound of 1e-6 or less per selftest. Do not edit the vendored test, and do not lower the 0.60 fraction as the fix.
- Evidence in the PR: at least 1,000 consecutive runs of the plant's grade command (
tools/grade.sh --candidate .ref/bin/lua-count --ref .ref/bin/lua --tier S --only math.lua,nextvar.lua --repeat 20) with 0 FAIL, or the computed bound. - The
count-unspec-canaryrow intests/gut.shstill bites: with the floor gutted, the self-test goes red.
Generated by Claude Code
- Ngôn ngữ chính
- Lua
- Star
- 0
- Fork
- 0
- Merge trung bình
- 43 phút
- Pull request đã merge (30 ngày)
- 10
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của InauguralSystems/EigenLua
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 8/100
InauguralSystems/EigenLua#78 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
InauguralSystems/EigenLua#74 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
InauguralSystems/EigenLua#63 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
1/0 and 0/0 abort the program with 'EigenScript value error: division by zero' (ref: inf / nan)Đang mởbug eigenscript-gap
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100
InauguralSystems/EigenLua#50 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug eigenscript-gap
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 12/100
InauguralSystems/EigenLua#49 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của InauguralSystems/EigenLua
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
AnkioTomas/moon#154 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
silverbulletmd/silverbullet#2254 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug discord triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
Maintainer thường phản hồi trong vòng 1 ngày
-
severity: medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
luainkernel/lunatik#2699 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
esmuellert/codediff.nvim#594 ·