Re-run and re-submit features
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 12/100
Hướng nghiên cứu
This is a tracking issue, not a single task, and the payload names no files or tests. Start by reading the linked pull requests (#2620, #2642, #2644) and related issues (#2636, #2637, #2655) to see what is already under way. The open items are an edited-task flag, in-place re-running, and the re-submit feature, so a newcomer should first ask the maintainers which one is free to pick up.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I create this issue to clarify and track the development around the "re-run" and the "re-submit" features.
TODO
Flagging mixed leaderboard
- Removed task: https://github.com/codalab/codabench/pull/2642
- Edited task: ??? (PR to make)
Related issue: #2637
Rework "re-running" feature
- Error/warning if task removed/edited: https://github.com/codalab/codabench/pull/2620
- In-place re-running: (PR to make)
- Codabench erases all data related to the submission then launches it again (same ID, re-run will not make a new submission. Quota is not consumed for the participant. Old tasks/datasets are used since it's re-running in the same state)
-
NO (behavior change on re-run) https://github.com/codalab/codabench/pull/2624
Add "re-submit" feature
Other "re-run" related issues
- #2655
- #2636
- Ngôn ngữ chính
- Python
- Star
- 183
- Fork
- 80
- Merge trung bình
- 2 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 35
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của codalab/codabench
-
Wrong count for failed submissions in Resource interfaceCó thể đã có người làm @ihsaan-ullah đã nhận 6 ngày trước. Đang mởBug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Resource Interface: Improve time formatCó thể đã có người làm @ihsaan-ullah đã nhận 5 ngày trước. Đang mởBeginner Enhancement UI
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Revert "Run E2E and Unit tests in parallel"Có thể đã có người làm @ObadaS đã nhận 1 ngày trước. Đang mởPost-it
codalab/codabench#2658 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Bug
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
Maintainer thường phản hồi trong vòng 1 ngày
-
External-instance
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 12/100
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của codalab/codabench
Issue tương tự
-
customer-reported question
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
Azure/azure-sdk-for-python#49548 · 1 bình luận · 1 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
btclib-org/btclib-wallet#409 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Phase 2 PSA Capability & Career Profile
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
bcgov/digital-journeys#2310 ·
-
bug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
fastmachinelearning/hls4ml#1582 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Sort modelsĐang mởenhancement good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
Maintainer thường phản hồi trong vòng 1 ngày