Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

perf(discovery): slice-only docs reads lose recall on scattered questions

Đã đóng
  • Có gì không ổn?
#6,487 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
42/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
markdown
Lĩnh vực
performance, search

Hướng nghiên cứu

Start from the artifact introduced in #6348: the shared docs lookup skill /discovery:read-docs and its escalate_bytes (default 60 KB) and section-count (25%) escalation rules, plus the Phase 6 acceptance kit, note, cache and grader used for the confirmation run. Identify where the thresholds and the slice-reading procedure live, then run the measured comparison of default vs. lower threshold vs. procedure nudge vs. combination, reporting n per arm and the same interval rule as the confirmation run. Done means the slice-only versus escalated recall gap closes within noise at acceptable bytes/tokens cost, or the null result is recorded and defaults kept.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

needs-triage priority: medium

No related issue: measured follow-up to #6348 (part of #6020).

Summary

The shared docs lookup (/discovery:read-docs, #6348) returns verbatim sections and escalates to the whole page past a size or section-count threshold (escalate_bytes, default 60 KB; 25% of sections). The Phase 6 acceptance run showed that runs reading only slices lose recall on questions whose answer is scattered across a page:

  • Slice-only runs: new-core recall .838 (n=4).
  • Runs that escalated to the whole page: .927 (n=6).
  • The worst slice-only run scored .74; it never read 3 scattered sections.
  • The same direction appeared in the original batch (.93 vs .86).

The pre-registered confirmation passed (10 fresh runs, mean .891 vs the no-cache arm's .936, lower bound -.072 against a -.10 margin) and thresholds were kept at defaults, so this is an improvement, not a regression fix.

Fix

Candidates, each to be measured before adopting:

  1. Lower the escalate_bytes threshold so more reads return the whole page.
  2. Add a procedure nudge: when a question spans many sections, read the whole page instead of slices.

Verification

  • A measured comparison on the same acceptance kit (same questions, same note and cache, same grader) of the default, each candidate, and the combination.
  • Acceptance: the slice-only versus escalated recall gap closes (target: slice-only runs within the noise of escalated runs) without losing the cost benefit, measured as bytes or tokens read per run against the current default. Report n per arm and use the same interval rule as the confirmation run.
  • If neither candidate closes the gap at acceptable cost, record the result and keep the defaults.

Related

  • #6020 (umbrella)
  • #6348 (shared docs cache, fetcher, /discovery:read-docs)
Ngôn ngữ chính
Shell
Star
22
Fork
2
Merge trung bình
5 giờ 11 phút
Pull request đã merge (30 ngày)
838

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của melodic-software/claude-code-plugins

Tất cả issue của melodic-software/claude-code-plugins

Issue tương tự

Thêm issue về Shell/Bash

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.