[TS Calls] Build a real-project call census and model roadmap

Đang mở
#367 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
kotlin, typescript
Lĩnh vực
data, testing-qa, tooling

Hướng nghiên cứu

Start with the existing native frontend, runner, and observer, then review the inventory in #368 and the related work in #360, #364, and #385. Define the census profile, deterministic aggregation, machine-readable observations, and explicit limits described here. Done means a reviewed P0/P1/P2 model subset is ready for #385, with implementation split into bounded follow-up issues.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Part of #360. Uses #364; contributes to #385.

Goal

Measure unknown calls reached on real TypeScript projects and select a small evidence-based model roadmap.

Scope

  • Freeze development-project revisions, licenses, selection criteria, analyzed methods, input domains, frontend/tool versions, seeds and budgets.
  • Reuse the existing native frontend, runner and observer. Aggregate decision events outside the engine; #373 snapshots are not required for a basic census.
  • Define the observation profile explicitly. A stop-on-first-unknown run cannot reveal later calls on that path. Use a fixed opaque-continuation census and/or a separately reported stop profile to distinguish encountered calls and stopping points.
  • Opaque exploration can include infeasible concrete paths and omit callee effects. Report a census of observed events under the profile, not an exhaustive list of all calls or all runtime blockers in a project.
  • Normalize API families/methods without conflating same-named user methods with proven built-ins.
  • Count projects, distinct call sites, distinct containing functions and dynamic events with explicit denominators. Rank primarily by project prevalence and distinct sites; report loop event counts separately.
  • Classify observations as model candidates, frontend/engine defects, external/user behavior or already supported semantics.
  • Use #368's inventory to avoid reimplementing existing models. Record candidate domains, residual cases and the rationale for source code versus a genuine engine intrinsic.
  • Produce a small P0/P1/P2 list. Select a finite experimental subset before final evaluation; held-out projects never select or tune it.

Definition of Done

  • Machine-readable observations preserve profile, limits, project/source examples and raw counts.
  • Source-site identity and aggregation are deterministic; repeated budget-limited runs report observed variability instead of promising identical explored events.
  • Stop-profile censoring and opaque-profile approximation are explicit.
  • A reviewed model subset is ready for #385; missing implementation work is split into bounded family issues with evaluation dependencies.
  • No catalog expansion is implemented in this issue.

The integration examples in #365/#366 are allowed before this roadmap; they validate the mechanism and must not be retroactively presented as census-selected models. Corpus selection and aggregation work can proceed independently of #383.

Ngôn ngữ chính
Kotlin
Star
33
Fork
27
Merge trung bình
4 ngày 3 giờ
Pull request đã merge (30 ngày)
15

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của UnitTestBot/usvm

Tất cả issue của UnitTestBot/usvm

Issue tương tự

Thêm issue về Kotlin

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.