Leaderboard ranking is computed using Sum of multiple scores
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 70/100
Hướng nghiên cứu
Read src/apps/leaderboards/strategies.py around line 92 and src/apps/api/serializers/leaderboards.py around lines 137 and 226. Trace how scores are added when ranking leaderboard submissions and selecting a participant's best submission, then compare that with the single score displayed. Done means those ranking and selection paths use the score represented in the display; check the related tests for coverage.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
We should look at how the leaderboard adds up scores when it fetches and ranks submissions. It ranks on a total (sum), while it displays a single score.
Ranking on the same score that is displayed would keep the order correct even if a submission somehow ends up with more than one copy of its scores.
The same adding-up is used in other places too, such as choosing a participant's best submission, so those should be checked.
For reference check these lines:
- https://github.com/codalab/codabench/blob/9a5e267d2c11c07c1549623f15408347990675f9/src/apps/leaderboards/strategies.py#L92
- https://github.com/codalab/codabench/blob/9a5e267d2c11c07c1549623f15408347990675f9/src/apps/api/serializers/leaderboards.py#L137
- https://github.com/codalab/codabench/blob/9a5e267d2c11c07c1549623f15408347990675f9/src/apps/api/serializers/leaderboards.py#L226
- Ngôn ngữ chính
- Python
- Star
- 186
- Fork
- 81
- Merge trung bình
- 6 ngày 10 giờ
- Pull request đã merge (30 ngày)
- 51
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của codalab/codabench
-
Wrong count for failed submissions in Resource interfaceCó thể đã có người làm @ihsaan-ullah đã nhận 15 ngày trước. Đang mởBug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 2 ngày
-
P1 Production
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
codalab/codabench#2679 · 12 bình luận · 16 reaction ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Post-it
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Enhancement
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 50/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Re-run and re-submit featuresĐang mởEnhancement
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 12/100
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của codalab/codabench
Issue tương tự
-
[Resource]: LoreĐang mởresource-submission validation-passed
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
hesreallyhim/awesome-claude-code#3234 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
openminion/openminion#376 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Type: ☹︎ Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
posit-dev/great-tables#1028 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
integration: apple_tv
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
home-assistant/core#188282 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
A "since" range is worded as a career: "the past two seasons" says "regular season career (2025 on)"Đang mởP4: low
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
jeffknupp/association#538 ·