Measure chance reach misses in oracle properties

Đang mở
  • Có gì không ổn?
#2,289 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
53/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
typescript
Lĩnh vực
devtools, testing

Hướng nghiên cứu

Start with packages/db/tests/declared-reach-oracle.property.test.ts and docs/contributing/oracle-coverage.md, then find the other files using createOracleReach or runOracleCampaign. Measure normal-budget reach misses across seeds for states not entered by fixed examples; add fixed examples through the shared seam or document probabilistic states with a maintainer decision. Consider whether a lint rule can identify chance-selected reach prefixes.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

A generated property declares the states its laws depend on, and createOracleReach fails a run in which too few histories entered one (ORC-015). When only random histories enter a declared state, the check can fail by chance at the normal run budget. No law fails, but CI goes red. #2287 was one case: in about 0.3% of 60-run campaigns, source-health.history never chose the one reach prefix that enters two of its states.

The fix for #2287 adds a shared seam for this:

  • oraclePropertyOptions(…, { examples }) runs fixed examples first in every run, on top of the base budget.
  • createOracleReach(…, { fixedHistories }) fails for each declared state that those examples did not enter.

The three source-health properties use the seam, so their reach does not depend on the seed. packages/db/tests/declared-reach-oracle.property.test.ts (oracle.declared-reach) owns these rules.

About 40 other files use createOracleReach or runOracleCampaign. Their chance of a reach miss at the normal budget has not been measured.

Work

  1. For each property with declared reach, list the declared states that no fixed example enters.
  2. Measure how often a normal-budget run misses each of those states. For example, count the misses across many seeds, or sample the generator.
  3. For each state that can miss, add a fixed example through the seam, or record the state as probabilistic in docs/contributing/oracle-coverage.md with a maintainer decision. Raise a run budget only with a maintainer decision, because it adds CI time.
  4. Consider a lint rule that reports a property that chooses a reach prefix by chance (fc.option(fc.constantFrom(...prefixes))) without fixed examples.

The coverage map's "Oracle tooling" section links to this issue as the destination for the gap.

Refs #2234, #2287.

This issue was written by Isaac.

Ngôn ngữ chính
TypeScript
Star
4k
Fork
277
Merge trung bình
1 ngày 7 giờ
Pull request đã merge (30 ngày)
176

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của TanStack/db

Tất cả issue của TanStack/db

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.