Leaderboard ranking is computed using Sum of multiple scores
维护者通常 2 天内回复
还没有人认领这个 Issue。
评估
调研方向
Read src/apps/leaderboards/strategies.py around line 92 and src/apps/api/serializers/leaderboards.py around lines 137 and 226. Trace how scores are added when ranking leaderboard submissions and selecting a participant's best submission, then compare that with the single score displayed. Done means those ranking and selection paths use the score represented in the display; check the related tests for coverage.
由索引模型根据 Issue 内容生成。
描述
We should look at how the leaderboard adds up scores when it fetches and ranks submissions. It ranks on a total (sum), while it displays a single score.
Ranking on the same score that is displayed would keep the order correct even if a submission somehow ends up with more than one copy of its scores.
The same adding-up is used in other places too, such as choosing a participant's best submission, so those should be checked.
For reference check these lines:
- https://github.com/codalab/codabench/blob/9a5e267d2c11c07c1549623f15408347990675f9/src/apps/leaderboards/strategies.py#L92
- https://github.com/codalab/codabench/blob/9a5e267d2c11c07c1549623f15408347990675f9/src/apps/api/serializers/leaderboards.py#L137
- https://github.com/codalab/codabench/blob/9a5e267d2c11c07c1549623f15408347990675f9/src/apps/api/serializers/leaderboards.py#L226
- 主要语言
- Python
- 星标
- 186
- 派生
- 81
- 平均合并
- 6 天 10 小时
- 30 天内合并 PR
- 51
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
codalab/codabench 的其他 Issue
-
Wrong count for failed submissions in Resource interface可能已有人在做 @ihsaan-ullah 于 16 天前认领。 未关闭Bug
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 2 天内回复
-
P1 Production
难度 4/5 3-5 天 新手友好度 25/100
codalab/codabench#2679 · 14 条评论 · 23 个 reaction ·
维护者通常 2 天内回复
-
Post-it
难度 4/5 3-5 天 新手友好度 25/100
维护者通常 2 天内回复
-
Enhancement
难度 3/5 1-2 天 新手友好度 50/100
维护者通常 2 天内回复
-
Enhancement
难度 5/5 一周以上 新手友好度 12/100
维护者通常 2 天内回复
查看 codalab/codabench 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 72/100
slavakurilyak/awesome-ai-agents#845 ·
维护者通常 1 天内回复
-
tests: pin that the atomic writers in utils/paths.py stage the temporary file in the target's directory可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭difficulty:2 enhancement good first issue
难度 1/5 1-3 小时 新手友好度 92/100
MakazhanAlpamys/Soup#2178 ·
维护者通常 1 天内回复
-
[BUG] dcg.waggr permutation p-values are folded twice, so near-zero scores get the smallest p-values未关闭
难度 2/5 1-3 小时 新手友好度 75/100
scverse/rapids-singlecell#854 ·
维护者通常 1 天内回复
-
Slang input: int8_t4_packed and uint8_t4_packed are copied into CrossGL可能已有人在做 @ninglinLiu 今天认领。 未关闭area:frontend backend:slang bug direction:input
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 1 天内回复
-
random_elements(unique=True) on an OrderedDict: ZeroDivisionError once only zero weights remain, AssertionError with use_weighting=False可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 85/100
维护者通常 13 天内回复