codalab/codabench

在 GitHub 查看

Codabench is a flexible, easy-to-use and reproducible benchmarking platform. Check our paper: https://hubs.li/Q01fwRWB0

星标: 176
派生: 74
开放的新手 issue: 2
已索引 issue: 107
平均合并: 2 天 20 小时
30 天内合并 PR: 17

主要语言: Python
许可证: Apache-2.0
最近 GitHub push: 2026年9月18日
最近索引: 2026年9月20日
贡献指南: 贡献指南
行为准则: 行为准则
新手标签: 没有已索引的新手标签

适合新手全部

未关闭全部

"Benchmark Management" page: List newest first 未关闭

Beginner UI

难度 2/5 1-3 小时新手友好度 75/100

codalab/codabench#2564 · 2026年9月23日创建
Codabench consulting marketplace 未关闭

Enhancement Post-it

codalab/codabench#2563 · 已指派 1 人 · 2026年9月23日创建
Deleted submissions still taking up storage quota 未关闭

Bug

难度 4/5 3-5 天新手友好度 45/100

codalab/codabench#2562 · 2026年9月22日创建
Multifactor authentification (MFA) 未关闭

Discussion Enhancement

codalab/codabench#2561 · 1 条评论 · 1 个 reaction · 已指派 1 人 · 2026年9月22日创建
register error for 500 未关闭

难度 4/5 3-5 天新手友好度 15/100

codalab/codabench#2559 · 1 条评论 · 2026年9月21日创建
Invisible submissions stuck on scoreboard unevaluated 未关闭

难度 4/5 3-5 天新手友好度 48/100

codalab/codabench#2558 · 2 条评论 · 2026年9月21日创建
Intermittent long-running submissions eventually fail 未关闭

难度 4/5 3-5 天新手友好度 45/100

codalab/codabench#2557 · 2026年9月21日创建
Displaying incorrect number of participants 未关闭

难度 3/5 1-2 天新手友好度 55/100

codalab/codabench#2554 · 2026年9月18日创建
MOT17 / MOT20 submissions stuck in Running for ~1 hour, then fail with "Child task failed or non-zero return code" and no logs 未关闭

难度 4/5 3-5 天新手友好度 40/100

codalab/codabench#2548 · 2026年9月16日创建
[Urgent] Organizer accidentally deleted a leaderboard submission, can it be restored from backup? 未关闭

难度 5/5 一周以上新手友好度 20/100

codalab/codabench#2547 · 2026年9月16日创建
API Throttling - re-implement and fix for compute workers 未关闭

codalab/codabench#2545 · 1 条评论 · 已指派 1 人 · 2026年9月16日创建
CircleCI tests: use the `site_worker` 未关闭

Post-it

codalab/codabench#2541 · 已指派 2 人 · 2026年9月15日创建
Bulk download results/submissions: dead code in `submissions.py` 未关闭

Post-it

难度 2/5 1-3 小时新手友好度 76/100

codalab/codabench#2538 · 2026年9月14日创建
Error is not clear after reaching the computation limit of a submission 未关闭

难度 4/5 3-5 天新手友好度 52/100

codalab/codabench#2529 · 2026年9月7日创建
MOT20 leaderboard ranking issue 未关闭

难度 3/5 1-2 天新手友好度 55/100

codalab/codabench#2512 · 2026年8月23日创建
No logs, but the submission failed... 未关闭

Bug Competition-specific

难度 4/5 3-5 天新手友好度 40/100

codalab/codabench#2506 · 3 条评论 · 2026年8月20日创建
Clear leaderboard 未关闭

难度 3/5 1-2 天新手友好度 45/100

codalab/codabench#2505 · 1 条评论 · 2026年8月18日创建
Human in the Loop Issues 未关闭

Enhancement

难度 5/5 一周以上新手友好度 35/100

codalab/codabench#2504 · 2026年8月18日创建
Public Competitions API - next and previous links 未关闭

难度 3/5 1-2 天新手友好度 55/100

codalab/codabench#2503 · 2026年8月17日创建
Submissions API architecture 未关闭

难度 5/5 一周以上新手友好度 35/100

codalab/codabench#2497 · 2026年8月8日创建
Dump issue: dates are saved with exact time 未关闭

Beginner Bug

难度 3/5 1-2 天新手友好度 62/100

codalab/codabench#2490 · 2026年8月5日创建
Site Worker not cleaning up after itself (competition bundle) 未关闭

Bug

难度 4/5 3-5 天新手友好度 48/100

codalab/codabench#2478 · 2026年7月24日创建
MOT20 leaderboard ranks a submission with no evaluation scores as #1 未关闭

难度 3/5 1-2 天新手友好度 52/100

codalab/codabench#2470 · 2026年7月23日创建
Task 2 repeatedly fails on ingestion_hostname-worker2 with no logs 未关闭

Competition-specific User-specific

难度 4/5 3-5 天新手友好度 35/100

codalab/codabench#2465 · 1 条评论 · 2026年7月18日创建
MinIO has been discontinued 未关闭

P1 Setup

难度 4/5 3-5 天新手友好度 45/100

codalab/codabench#2459 · 2026年7月3日创建
Username problem in email "User applied to your competition" 未关闭

Beginner Bug

难度 2/5 1-3 小时新手友好度 55/100

codalab/codabench#2445 · 2026年6月24日创建
Codabench package 未关闭

Post-it

难度 5/5 一周以上新手友好度 25/100

codalab/codabench#2440 · 2026年6月23日创建
Worker monitoring feature: needed improvements 未关闭

Enhancement

codalab/codabench#2438 · 已指派 1 人 · 2026年6月23日创建
compute_worker re-executes submissions on broker redelivery, causing duplicate scores, hostname overwrite, and status flipping 未关闭

难度 4/5 3-5 天新手友好度 45/100

codalab/codabench#2433 · 2026年6月18日创建
Improve "Participants" table 未关闭

Enhancement UI

难度 3/5 1-2 天新手友好度 68/100

codalab/codabench#2428 · 2026年6月18日创建
Participant routing feature: needed improvements 未关闭

Enhancement

codalab/codabench#2427 · 1 条评论 · 已指派 1 人 · 2026年6月18日创建
Lost submissions on client side: POST /api/submissions/ is not idempotent 未关闭

难度 5/5 一周以上新手友好度 38/100

codalab/codabench#2425 · 2026年6月17日创建
Data integrity: score or leaderboard write fails after Finished status 未关闭

难度 4/5 3-5 天新手友好度 58/100

codalab/codabench#2423 · 2026年6月17日创建
Submissions stuck in "Scoring" when broker error occurs during compute_worker PATCH (non-transactional re-enqueue) 未关闭

Workers / Queues

难度 4/5 3-5 天新手友好度 48/100

codalab/codabench#2419 · 2026年6月16日创建
_update_submission() has no retry and _update_status() silently swallows exceptions, causing permanent submission loss 未关闭

难度 3/5 1-2 天新手友好度 55/100

codalab/codabench#2415 · 2026年6月16日创建
Submission cleanup only recovers Running submissions, not Submitted/Preparing/Scoring 未关闭

难度 3/5 1-2 天新手友好度 75/100

codalab/codabench#2413 · 2026年6月16日创建
Renaming "administrator", "collaborator", "organizers", etc. 未关闭

Documentation Post-it

难度 4/5 3-5 天新手友好度 35/100

codalab/codabench#2412 · 1 条评论 · 2026年6月16日创建
Registration failed with 500 error and activation email not received 未关闭

Bug User-specific

难度 4/5 3-5 天新手友好度 25/100

codalab/codabench#2406 · 1 条评论 · 2026年6月8日创建
Add proper configuration management for compute-worker 未关闭

Enhancement In Progress python python:uv Setup Workers / Queues

codalab/codabench#2404 · 已指派 1 人 · 2026年6月4日创建
GPU worker: No score output 未关闭

Competition-specific Workers / Queues

codalab/codabench#2399 · 16 条评论 · 已指派 1 人 · 2026年6月1日创建
MOT20 submission failed: child task failed 未关闭

Bug Competition-specific

难度 4/5 3-5 天新手友好度 25/100

codalab/codabench#2384 · 1 条评论 · 2026年5月24日创建
Compute worker: changing `HOST_DIRECTORY` not working 未关闭

Bug Workers / Queues

难度 3/5 1-2 天新手友好度 48/100

codalab/codabench#2379 · 2026年5月19日创建
Feedback from a competition: auto-migration bug, stuck submissions, and username reset on re-run 未关闭

Bug

难度 4/5 3-5 天新手友好度 35/100

codalab/codabench#2375 · 1 条评论 · 2026年5月13日创建
analytics page misreporting 未关闭

Bug

codalab/codabench#2354 · 2 条评论 · 已指派 1 人 · 2026年4月28日创建
[COCO Segmentation] test-dev 2017 evaluation sever unavailable and Codabench do not have COCO benchmark 未关闭

Competition-specific Discussion

难度 5/5 一周以上新手友好度 25/100

codalab/codabench#2352 · 1 条评论 · 2026年4月26日创建
Method to track inactive/stale users and competitions 未关闭

Enhancement

难度 5/5 一周以上新手友好度 35/100

codalab/codabench#2344 · 1 条评论 · 2026年4月20日创建
MOT20 failed submission 未关闭

Bug Competition-specific Workers / Queues

codalab/codabench#2343 · 3 条评论 · 已指派 1 人 · 2026年4月19日创建
Resource Interface: Submission file size display problem 未关闭

Beginner Bug UI

难度 3/5 1-2 天新手友好度 52/100

codalab/codabench#2335 · 2026年4月15日创建
Resource Interface: Improve time format 未关闭

Beginner Enhancement UI

难度 2/5 1-3 小时新手友好度 68/100

codalab/codabench#2334 · 2026年4月15日创建
Sorting columns in Resources interface is flawed 未关闭

Bug

难度 3/5 1-2 天新手友好度 55/100

codalab/codabench#2327 · 2026年4月9日创建

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

codalab/codabench

只显示最新的 100 条

把新 issue 发到你的邮箱