codalab/codabench

GitHub で見る

Codabench is a flexible, easy-to-use and reproducible benchmarking platform. Check our paper: https://hubs.li/Q01fwRWB0

スター: 176
フォーク: 74
オープンの初心者向け issue: 2
索引済み issue: 105
平均マージ: 3日 7時間
マージ済み PR（30日）: 19

主要言語: Python
ライセンス: Apache-2.0
最終 GitHub push: 2026年9月18日
最新の索引: 2026年9月20日
コントリビューションガイド: コントリビューションガイド
行動規範: 行動規範
初心者向けラベル: 初心者向けラベルは索引されていません

初心者向けすべて

オープンすべて

register error for 500 オープン

難易度 4/5 3〜5日初心者へのやさしさ 15/100

codalab/codabench#2559 · コメント 1 件 · 2026年9月21日に作成
Invisible submissions stuck on scoreboard unevaluated オープン

難易度 4/5 3〜5日初心者へのやさしさ 48/100

codalab/codabench#2558 · コメント 2 件 · 2026年9月21日に作成
Intermittent long-running submissions eventually fail オープン

難易度 4/5 3〜5日初心者へのやさしさ 45/100

codalab/codabench#2557 · 2026年9月21日に作成
Displaying incorrect number of participants オープン

難易度 3/5 1〜2日初心者へのやさしさ 55/100

codalab/codabench#2554 · 2026年9月18日に作成
MOT17 / MOT20 submissions stuck in Running for ~1 hour, then fail with "Child task failed or non-zero return code" and no logs オープン

難易度 4/5 3〜5日初心者へのやさしさ 40/100

codalab/codabench#2548 · 2026年9月16日に作成
[Urgent] Organizer accidentally deleted a leaderboard submission, can it be restored from backup? オープン

難易度 5/5 1週間以上初心者へのやさしさ 20/100

codalab/codabench#2547 · 2026年9月16日に作成
API Throttling - re-implement and fix for compute workers オープン

codalab/codabench#2545 · コメント 1 件 · 担当者 1 名 · 2026年9月16日に作成
CircleCI tests: use the `site_worker` オープン

Post-it

codalab/codabench#2541 · 担当者 2 名 · 2026年9月15日に作成
Bulk download results/submissions: dead code in `submissions.py` オープン

Post-it

難易度 2/5 1〜3時間初心者へのやさしさ 76/100

codalab/codabench#2538 · 2026年9月14日に作成
Error is not clear after reaching the computation limit of a submission オープン

難易度 4/5 3〜5日初心者へのやさしさ 52/100

codalab/codabench#2529 · 2026年9月7日に作成
MOT20 leaderboard ranking issue オープン

難易度 3/5 1〜2日初心者へのやさしさ 55/100

codalab/codabench#2512 · 2026年8月23日に作成
No logs, but the submission failed... オープン

Bug Competition-specific

難易度 4/5 3〜5日初心者へのやさしさ 40/100

codalab/codabench#2506 · コメント 3 件 · 2026年8月20日に作成
Clear leaderboard オープン

難易度 3/5 1〜2日初心者へのやさしさ 45/100

codalab/codabench#2505 · コメント 1 件 · 2026年8月18日に作成
Human in the Loop Issues オープン

Enhancement

難易度 5/5 1週間以上初心者へのやさしさ 35/100

codalab/codabench#2504 · 2026年8月18日に作成
Public Competitions API - next and previous links オープン

難易度 3/5 1〜2日初心者へのやさしさ 55/100

codalab/codabench#2503 · 2026年8月17日に作成
Submissions API architecture オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

codalab/codabench#2497 · 2026年8月8日に作成
Dump issue: dates are saved with exact time オープン

Beginner Bug

難易度 3/5 1〜2日初心者へのやさしさ 62/100

codalab/codabench#2490 · 2026年8月5日に作成
Site Worker not cleaning up after itself (competition bundle) オープン

Bug

難易度 4/5 3〜5日初心者へのやさしさ 48/100

codalab/codabench#2478 · 2026年7月24日に作成
MOT20 leaderboard ranks a submission with no evaluation scores as #1 オープン

難易度 3/5 1〜2日初心者へのやさしさ 52/100

codalab/codabench#2470 · 2026年7月23日に作成
Task 2 repeatedly fails on ingestion_hostname-worker2 with no logs オープン

Competition-specific User-specific

難易度 4/5 3〜5日初心者へのやさしさ 35/100

codalab/codabench#2465 · コメント 1 件 · 2026年7月18日に作成
MinIO has been discontinued オープン

P1 Setup

難易度 4/5 3〜5日初心者へのやさしさ 45/100

codalab/codabench#2459 · 2026年7月3日に作成
Username problem in email "User applied to your competition" オープン

Beginner Bug

難易度 2/5 1〜3時間初心者へのやさしさ 55/100

codalab/codabench#2445 · 2026年6月24日に作成
Codabench package オープン

Post-it

難易度 5/5 1週間以上初心者へのやさしさ 25/100

codalab/codabench#2440 · 2026年6月23日に作成
Worker monitoring feature: needed improvements オープン

Enhancement

codalab/codabench#2438 · 担当者 1 名 · 2026年6月23日に作成
compute_worker re-executes submissions on broker redelivery, causing duplicate scores, hostname overwrite, and status flipping オープン

難易度 4/5 3〜5日初心者へのやさしさ 45/100

codalab/codabench#2433 · 2026年6月18日に作成
Improve "Participants" table オープン

Enhancement UI

難易度 3/5 1〜2日初心者へのやさしさ 68/100

codalab/codabench#2428 · 2026年6月18日に作成
Participant routing feature: needed improvements オープン

Enhancement

codalab/codabench#2427 · コメント 1 件 · 担当者 1 名 · 2026年6月18日に作成
Lost submissions on client side: POST /api/submissions/ is not idempotent オープン

難易度 5/5 1週間以上初心者へのやさしさ 38/100

codalab/codabench#2425 · 2026年6月17日に作成
Data integrity: score or leaderboard write fails after Finished status オープン

難易度 4/5 3〜5日初心者へのやさしさ 58/100

codalab/codabench#2423 · 2026年6月17日に作成
Submissions stuck in "Scoring" when broker error occurs during compute_worker PATCH (non-transactional re-enqueue) オープン

Workers / Queues

難易度 4/5 3〜5日初心者へのやさしさ 48/100

codalab/codabench#2419 · 2026年6月16日に作成
_update_submission() has no retry and _update_status() silently swallows exceptions, causing permanent submission loss オープン

難易度 3/5 1〜2日初心者へのやさしさ 55/100

codalab/codabench#2415 · 2026年6月16日に作成
Submission cleanup only recovers Running submissions, not Submitted/Preparing/Scoring オープン

難易度 3/5 1〜2日初心者へのやさしさ 75/100

codalab/codabench#2413 · 2026年6月16日に作成
Renaming "administrator", "collaborator", "organizers", etc. オープン

Documentation Post-it

難易度 4/5 3〜5日初心者へのやさしさ 35/100

codalab/codabench#2412 · コメント 1 件 · 2026年6月16日に作成
Registration failed with 500 error and activation email not received オープン

Bug User-specific

難易度 4/5 3〜5日初心者へのやさしさ 25/100

codalab/codabench#2406 · コメント 1 件 · 2026年6月8日に作成
Add proper configuration management for compute-worker オープン

Enhancement In Progress python python:uv Setup Workers / Queues

codalab/codabench#2404 · 担当者 1 名 · 2026年6月4日に作成
GPU worker: No score output オープン

Competition-specific Workers / Queues

codalab/codabench#2399 · コメント 16 件 · 担当者 1 名 · 2026年6月1日に作成
MOT20 submission failed: child task failed オープン

Bug Competition-specific

難易度 4/5 3〜5日初心者へのやさしさ 25/100

codalab/codabench#2384 · コメント 1 件 · 2026年5月24日に作成
Compute worker: changing `HOST_DIRECTORY` not working オープン

Bug Workers / Queues

難易度 3/5 1〜2日初心者へのやさしさ 48/100

codalab/codabench#2379 · 2026年5月19日に作成
Feedback from a competition: auto-migration bug, stuck submissions, and username reset on re-run オープン

Bug

難易度 4/5 3〜5日初心者へのやさしさ 35/100

codalab/codabench#2375 · コメント 1 件 · 2026年5月13日に作成
analytics page misreporting オープン

Bug

codalab/codabench#2354 · コメント 2 件 · 担当者 1 名 · 2026年4月28日に作成
[COCO Segmentation] test-dev 2017 evaluation sever unavailable and Codabench do not have COCO benchmark オープン

Competition-specific Discussion

難易度 5/5 1週間以上初心者へのやさしさ 25/100

codalab/codabench#2352 · コメント 1 件 · 2026年4月26日に作成
Method to track inactive/stale users and competitions オープン

Enhancement

難易度 5/5 1週間以上初心者へのやさしさ 35/100

codalab/codabench#2344 · コメント 1 件 · 2026年4月20日に作成
MOT20 failed submission オープン

Bug Competition-specific Workers / Queues

codalab/codabench#2343 · コメント 3 件 · 担当者 1 名 · 2026年4月19日に作成
Resource Interface: Submission file size display problem オープン

Beginner Bug UI

難易度 3/5 1〜2日初心者へのやさしさ 52/100

codalab/codabench#2335 · 2026年4月15日に作成
Resource Interface: Improve time format オープン

Beginner Enhancement UI

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

codalab/codabench#2334 · 2026年4月15日に作成
Sorting columns in Resources interface is flawed オープン

Bug

難易度 3/5 1〜2日初心者へのやさしさ 55/100

codalab/codabench#2327 · 2026年4月9日に作成
Computer worker upgrade feature オープン

Enhancement Post-it

難易度 4/5 3〜5日初心者へのやさしさ 25/100

codalab/codabench#2320 · 2026年4月7日に作成
Codabench Account Activation Email Not Received オープン

P1 Production

難易度 4/5 3〜5日初心者へのやさしさ 35/100

codalab/codabench#2263 · コメント 8 件 · 2026年3月13日に作成
More control over submissions for organizers オープン

Enhancement P1

難易度 5/5 1週間以上初心者へのやさしさ 25/100

codalab/codabench#2249 · コメント 1 件 · 2026年3月9日に作成
Auto-migration not working for multi-task オープン

Bug

難易度 3/5 1〜2日初心者へのやさしさ 45/100

codalab/codabench#2247 · コメント 1 件 · 2026年3月9日に作成

codalab/codabench

最新の 100 件のみ表示しています

新しい issue をメールで受け取る