[Task][RFC]: Qualify the integrated benchmark study upload and dashboard contract
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 38/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python, typescript
Hướng nghiên cứu
Start with the linked RFC, then inspect study_projection.py, benchmark_study.py, and benchmark-study-page.tsx to map its acceptance criteria to the existing contract, CLI, and dashboard. Exercise the installed or source CLI and actual dashboard as the issue requires. Done means reporting the integrated revision and passed, failed, and untested evidence, reconciling the delivery checkpoint, and identifying any remaining gates; close the accepted scope only if the v0 criteria are satisfied.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Outcome / 目标
验收 benchmark study 上传、回读与看板完整链路。One task tracks this RFC's delivery; keep implementation PRs and milestone evidence here instead of creating a parallel task tree.
Canonical design: RFC. Roadmap: S11/S12, under #4574. Design acceptance is distinct from implementation, live qualification and promotion.
Current boundary
Source audit: main at ce3862e33 (2026-09-28). This is source/PR inspection, not a new test or live-qualification claim.
The contract/reducers, local upload CLI and read-only dashboard already exist; #3878 binds case insights to terminal runs. Treat this as integrated acceptance and current-checkpoint reconciliation, not a new dashboard or uploader.
Work remaining
- Map RFC acceptance to the shipped CLI → local upload/readback → derived campaign/arm/case/run views and close any evidenced integration gaps.
- Reconcile the RFC delivery checkpoint with that evidence. If every v0 criterion is already satisfied, close with evidence rather than inventing features.
Ownership and ongoing work
Reuse #3243 and existing benchmark-toolkit owners. PR #4439 is a separate evaluation program, not work to duplicate here. External sink transport requires its own existing authorization and lifecycle.
Contribution route: available for a bounded proposal/PR within this RFC. Name the intended milestone and exact files in a claim comment so simultaneous contributors do not duplicate work.
Acceptance
- Simple and factorized synthetic studies round-trip without losing countability, metric, effort, fidelity or provenance; denominators and provisional status remain visible.
- Replay/supersession, duplicate manifests, invalid identity, unknown record kind and forbidden evidence fail or reconcile according to the existing contract.
- Exercise the installed/source CLI and actual dashboard; no new scoring, real benchmark jobs, remote upload or leaderboard submission.
- Reconcile the RFC's current delivery checkpoint and this issue with the integrated revision, commands, passed/failed/untested evidence and remaining gates. Close the accepted scope only; no claim that a merged PR alone completes the RFC.
Starting points and delivery boundary
- loopx/capabilities/benchmark_toolkit/study_projection.py
- loopx/cli_commands/benchmark_study.py
- apps/presentation/dashboard/src/views/benchmark-study-page.tsx
Base: latest main. Reuse the existing typed owner and provider boundaries. Include affected CLI/frontend/Lark companions; verify real entrypoints and backend where changed. Preserve existing first-screen review and maintainer merge gates. Public artifacts contain only synthetic/public-safe evidence, no private operational state. This task does not authorize provider promotion, benchmark launches, release/deployment or unrelated protected effects.
- Ngôn ngữ chính
- Python
- Star
- 6.2k
- Fork
- 596
- Merge trung bình
- 7 giờ 47 phút
- Pull request đã merge (30 ngày)
- 904
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của loopx-project/loopx
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
loopx-project/loopx#6842 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
loopx-project/loopx#6108 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
loopx-project/loopx#5688 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 60/100
loopx-project/loopx#5632 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
loopx-project/loopx#5443 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của loopx-project/loopx
Issue tương tự
-
follow-up
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Download helper still uses huggingface_hub arguments removed in 1.0: USE_SYMLINKS is silently ignored and every download ends with a WinError 3 lineCó thể đã có người làm @li-lizhe đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
IPv6 node addresses produce an invalid request URLCó thể đã có người làm @RaphaelFakhri đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
typesense/typesense-python#154 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
elastic/elasticsearch-py#3592 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
developmentseed/titiler-cmr#250 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày