Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Workbench: live measurements leave no versioned trace

Đang mở
  • Có gì không ổn?
#459 6 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@auberginewly đang làm issue này rồi.

Từ ngày 27/10/2026.

  • #1403 của @auberginewly — đang mở

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
48/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
typescript
Lĩnh vực
testing, tooling

Hướng nghiên cứu

Start with workbench/README.md, especially “La prise réelle,” then inspect baseline.ts and workbench/lib/cassette.ts. The issue calls for manually verified --update-baseline runs for the real-take scenarios, followed by capturing the provider’s usage block in the recording proxy. Done should include tracked, verified measurements and a clear decision in the README about whether judged-PR cassettes should be committed.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

Split out of #428, which is being closed — its core ask is done, this is the adjacent point that was never in scope for it.

What's left

workbench/runs/ and workbench/reports/ are gitignored, and only three baselines are committed (consent.json, describe-project.json, wizard-enhance.json). Every live measurement made against this bench — including the ones behind #431, #432, #440, #452, #453, #454 and #456 — leaves no trace anyone else can replay without re-running it themselves, on their own key, against whatever the provider resolves that day.

Concretely, that means:

  • A cassette recorded during a PR review (e.g. workbench/cassettes/judge-migration-*.json) replays offline for whoever has the file, but nothing forces it to reach main — it's a byproduct of one session, not a tracked measurement.
  • The three real-take scenarios (real-wizard-enhance, real-zooms, real-zoom-grounding) have never been judged at all, because the take itself (workbench/fixtures/) is gitignored and absent from every clone. See #457's sibling problem and workbench/README.md § "La prise réelle" for what that costs on a fresh checkout (44 L0 tests fail on the missing fixture, silently, since CI never runs the bench).
  • A baseline's behaviour/dsl numbers, once written, are never re-verified against anything — nothing reads them back (baseline.ts only compares check ids), so they drift into being an unlabelled archive, which is exactly what happened to wizard-enhance.json before #453 said so explicitly.

First step, as noted when this was flagged

Freeze the real-take scenario baselines (--update-baseline, verified by hand rather than trusted), then capture the provider's usage block in the recording proxy (workbench/lib/cassette.ts) — the token count every context-size argument in this codebase wants is already in the response the recorder sees pass through, uncaptured.

Also worth deciding here, not in #428

Whether cassettes from a judged PR review should be committed as a matter of course (the way judge-migration-*.json were, by convention rather than by rule) or whether that's noise the repo doesn't want. workbench/README.md doesn't currently say either way.

Ngôn ngữ chính
TypeScript
Star
3.7k
Fork
231
Merge trung bình
16 giờ 38 phút
Pull request đã merge (30 ngày)
327

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của getopenscreen/openscreen

Tất cả issue của getopenscreen/openscreen

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.