Atlas corpus expansion, parity evidence and accuracy-card label growth

Đang mở
  • Có gì không ổn?
#166 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
28/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, python
Lĩnh vực
ci-cd, data, testing-qa, tooling

Hướng nghiên cứu

Start with tests/atlas/corpus.json, tests/map_corpus/public_quality_expectations.json, docs/GOLDEN.md, the Makefile, and atlas.yml. Run the existing atlas and accuracy-card commands to understand current outputs. Done means 12+ pinned repositories are added, parity has a committed or release-attached summary through a new make atlas-parity-report target, and every question kind has at least 30 independently justified labels.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement follow-up

Atlas corpus expansion, parity evidence and accuracy-card label growth

Background

Issue #107 was scoped at 1.0 to publish a reproducible parity and accuracy atlas. On main, the atlas infrastructure exists and runs correctly. Three acceptance criteria from the issue body are unmet.

What 1.0 ships

  • tests/atlas/ differential runner (run.py, accuracy.py, corpus.json, known-differences.json).
  • atlas.yml: workflow_dispatch only; no schedule: trigger; results not committed to git.
  • make atlas, make atlas-smoke, make accuracy-cards in the Makefile.
  • docs/ACCURACY.md and dircue capabilities --accuracy.
  • Linux kernel (torvalds/linux) and Perl-heavy repo (bioperl/bioperl-live) in the corpus.
  • 38 repositories in tests/atlas/corpus.json.

Remaining work (acceptance criteria from #107)

Corpus expansion:
The issue requires "moderate expansion to ~50 repositories across ecosystems." Current count: 38. Add 12+ repositories covering under-represented ecosystems and repository types (e.g. mobile, data-science, embedded, polyglot monorepos). Per the acceptance criteria, each must be pinned with a reproducible fetch command.

Linguist 9.7.0 and scc 4.1.0 parity evidence:
The issue requires "Linguist 9.7.0 exact parity on every corpus entry; zero unexplained disagreements" and "per-file scc 4.1.0 parity on every corpus entry." The infrastructure runs but no release asset or committed summary demonstrates parity on current main. Add a make atlas-parity-report target that produces a summary artifact; attach it to every release.

Accuracy cards with meaningful labels:
All five question kinds currently show insufficient_labels (threshold 30; current: capability=13, component=7, content=4, deployable=17, interface=9 across 8 repositories). The accuracy cards are derived from the same labels used for tests/map_corpus/public_quality_expectations.json. Expand hand-labeling to reach ≥ 30 labels per question kind, consistent with the label methodology in docs/GOLDEN.md.

Do not adjust labels to match output. Any change to labels must be independently justifiable from source.

Links

  • #107 (1.0.0 issue being closed)
  • tests/atlas/corpus.json (current 38-repo corpus)
  • tests/map_corpus/public_quality_expectations.json (existing labels)
  • docs/ACCURACY.md
  • #134 (golden corpus gap items, 1.1.0)
Ngôn ngữ chính
Go
Star
0
Fork
0
Merge trung bình
11 giờ 3 phút
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của war-and-code/dircue

Tất cả issue của war-and-code/dircue

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.