Multi-task not working with Force Last submission rule
Maintainer thường phản hồi trong vòng 2 ngày
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 45/100
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện trường hợp multi-task với các quy tắc Force Last và Force Last Multiple, sau đó theo dõi nơi quy tắc được áp dụng cho các submission cha và con. Được xem là hoàn tất khi chỉ submission cha xuất hiện trên leaderboard cùng với điểm của các submission con, và My Submissions đánh dấu chính xác các trạng thái leaderboard và failed.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
When you have more than one task and leaderboard rule is Force Last or Force Last Multiple:
- You see
N/abecause one of the child submission is on the leaderboard and the other one showsN/a. - Also, on "My Submissions" tab, no submission is marked as "on the leaderboard".
Failedsubmissions are marked asFinished.
We should NOT show the child submission on the leaderboard. Only the parent submission should be shown with scores from child submissions.
It looks like when the rule is applied, it is applied to submissions regardless of if they are parent or child.
Reported in:
- #1570
- #1540
- Ngôn ngữ chính
- Python
- Star
- 186
- Fork
- 81
- Merge trung bình
- 6 ngày 10 giờ
- Pull request đã merge (30 ngày)
- 51
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của codalab/codabench
-
Wrong count for failed submissions in Resource interfaceCó thể đã có người làm @ihsaan-ullah đã nhận 15 ngày trước. Đang mởBug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 2 ngày
-
P1 Production
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
codalab/codabench#2679 · 12 bình luận · 16 reaction ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Post-it
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 70/100
codalab/codabench#2676 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Post-it
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Enhancement
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 50/100
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của codalab/codabench
Issue tương tự
-
[Resource]: LoreĐang mởresource-submission validation-passed
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
hesreallyhim/awesome-claude-code#3234 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
openminion/openminion#376 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Type: ☹︎ Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
posit-dev/great-tables#1028 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
integration: apple_tv
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
home-assistant/core#188282 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
A "since" range is worded as a career: "the past two seasons" says "regular season career (2025 on)"Đang mởP4: low
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
jeffknupp/association#538 ·