codalab/codabench

Codabench is a flexible, easy-to-use and reproducible benchmarking platform. Check our paper: https://hubs.li/Q01fwRWB0

Estrellas: 176
Forks: 74
Issues abiertos para principiantes: 2
Issues indexados: 103
Merge medio: 5 d 3 h
PR fusionados (30 d): 21

Lenguaje dominante: Python
Licencia: Apache-2.0
Último push a GitHub: 18/9/2026
Última indexación: 20/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas

Para principiantes Todo

Abierto Todos

register error for 500 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 15/100

codalab/codabench#2559 · 1 comentario · Abierto el 21/9/2026
Invisible submissions stuck on scoreboard unevaluated Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

codalab/codabench#2558 · Abierto el 21/9/2026
Intermittent long-running submissions eventually fail Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

codalab/codabench#2557 · Abierto el 21/9/2026
Displaying incorrect number of participants Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

codalab/codabench#2554 · Abierto el 18/9/2026
MOT17 / MOT20 submissions stuck in Running for ~1 hour, then fail with "Child task failed or non-zero return code" and no logs Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 40/100

codalab/codabench#2548 · Abierto el 16/9/2026
[Urgent] Organizer accidentally deleted a leaderboard submission, can it be restored from backup? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

codalab/codabench#2547 · Abierto el 16/9/2026
API Throttling - re-implement and fix for compute workers Abierto

codalab/codabench#2545 · 1 comentario · 1 asignado · Abierto el 16/9/2026
CircleCI tests: use the `site_worker` Abierto

Post-it

codalab/codabench#2541 · 2 asignados · Abierto el 15/9/2026
Bulk download results/submissions: dead code in `submissions.py` Abierto

Post-it

Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100

codalab/codabench#2538 · Abierto el 14/9/2026
Error is not clear after reaching the computation limit of a submission Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

codalab/codabench#2529 · Abierto el 7/9/2026
MOT20 leaderboard ranking issue Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

codalab/codabench#2512 · Abierto el 23/8/2026
No logs, but the submission failed... Abierto

Bug Competition-specific

Dificultad 4/5 3-5 días Aptitud para principiantes 40/100

codalab/codabench#2506 · 3 comentarios · Abierto el 20/8/2026
Clear leaderboard Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

codalab/codabench#2505 · 1 comentario · Abierto el 18/8/2026
Human in the Loop Issues Abierto

Enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

codalab/codabench#2504 · Abierto el 18/8/2026
Public Competitions API - next and previous links Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

codalab/codabench#2503 · Abierto el 17/8/2026
Submissions API architecture Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

codalab/codabench#2497 · Abierto el 8/8/2026
Dump issue: dates are saved with exact time Abierto

Beginner Bug

Dificultad 3/5 1-2 días Aptitud para principiantes 62/100

codalab/codabench#2490 · Abierto el 5/8/2026
Site Worker not cleaning up after itself (competition bundle) Abierto

Bug

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

codalab/codabench#2478 · Abierto el 24/7/2026
MOT20 leaderboard ranks a submission with no evaluation scores as #1 Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 52/100

codalab/codabench#2470 · Abierto el 23/7/2026
Task 2 repeatedly fails on ingestion_hostname-worker2 with no logs Abierto

Competition-specific User-specific

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

codalab/codabench#2465 · 1 comentario · Abierto el 18/7/2026
MinIO has been discontinued Abierto

P1 Setup

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

codalab/codabench#2459 · Abierto el 3/7/2026
Username problem in email "User applied to your competition" Abierto

Beginner Bug

Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100

codalab/codabench#2445 · Abierto el 24/6/2026
Codabench package Abierto

Post-it

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

codalab/codabench#2440 · Abierto el 23/6/2026
Worker monitoring feature: needed improvements Abierto

Enhancement

codalab/codabench#2438 · 1 asignado · Abierto el 23/6/2026
compute_worker re-executes submissions on broker redelivery, causing duplicate scores, hostname overwrite, and status flipping Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

codalab/codabench#2433 · Abierto el 18/6/2026
Improve "Participants" table Abierto

Enhancement UI

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

codalab/codabench#2428 · Abierto el 18/6/2026
Participant routing feature: needed improvements Abierto

Enhancement

codalab/codabench#2427 · 1 comentario · 1 asignado · Abierto el 18/6/2026
Lost submissions on client side: POST /api/submissions/ is not idempotent Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

codalab/codabench#2425 · Abierto el 17/6/2026
Data integrity: score or leaderboard write fails after Finished status Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 58/100

codalab/codabench#2423 · Abierto el 17/6/2026
Submissions stuck in "Scoring" when broker error occurs during compute_worker PATCH (non-transactional re-enqueue) Abierto

Workers / Queues

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

codalab/codabench#2419 · Abierto el 16/6/2026
_update_submission() has no retry and _update_status() silently swallows exceptions, causing permanent submission loss Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

codalab/codabench#2415 · Abierto el 16/6/2026
Submission cleanup only recovers Running submissions, not Submitted/Preparing/Scoring Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 75/100

codalab/codabench#2413 · Abierto el 16/6/2026
Renaming "administrator", "collaborator", "organizers", etc. Abierto

Documentation Post-it

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

codalab/codabench#2412 · 1 comentario · Abierto el 16/6/2026
Registration failed with 500 error and activation email not received Abierto

Bug User-specific

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

codalab/codabench#2406 · 1 comentario · Abierto el 8/6/2026
Add proper configuration management for compute-worker Abierto

Enhancement In Progress python python:uv Setup Workers / Queues

codalab/codabench#2404 · 1 asignado · Abierto el 4/6/2026
GPU worker: No score output Abierto

Competition-specific Workers / Queues

codalab/codabench#2399 · 16 comentarios · 1 asignado · Abierto el 1/6/2026
MOT20 submission failed: child task failed Abierto

Bug Competition-specific

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

codalab/codabench#2384 · 1 comentario · Abierto el 24/5/2026
Compute worker: changing `HOST_DIRECTORY` not working Abierto

Bug Workers / Queues

Dificultad 3/5 1-2 días Aptitud para principiantes 48/100

codalab/codabench#2379 · Abierto el 19/5/2026
Feedback from a competition: auto-migration bug, stuck submissions, and username reset on re-run Abierto

Bug

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

codalab/codabench#2375 · 1 comentario · Abierto el 13/5/2026
analytics page misreporting Abierto

Bug

codalab/codabench#2354 · 2 comentarios · 1 asignado · Abierto el 28/4/2026
[COCO Segmentation] test-dev 2017 evaluation sever unavailable and Codabench do not have COCO benchmark Abierto

Competition-specific Discussion

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

codalab/codabench#2352 · 1 comentario · Abierto el 26/4/2026
Method to track inactive/stale users and competitions Abierto

Enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

codalab/codabench#2344 · 1 comentario · Abierto el 20/4/2026
MOT20 failed submission Abierto

Bug Competition-specific Workers / Queues

codalab/codabench#2343 · 3 comentarios · 1 asignado · Abierto el 19/4/2026
Resource Interface: Submission file size display problem Abierto

Beginner Bug UI

Dificultad 3/5 1-2 días Aptitud para principiantes 52/100

codalab/codabench#2335 · Abierto el 15/4/2026
Resource Interface: Improve time format Abierto

Beginner Enhancement UI

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

codalab/codabench#2334 · Abierto el 15/4/2026
Sorting columns in Resources interface is flawed Abierto

Bug

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

codalab/codabench#2327 · Abierto el 9/4/2026
Computer worker upgrade feature Abierto

Enhancement Post-it

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

codalab/codabench#2320 · Abierto el 7/4/2026
Codabench Account Activation Email Not Received Abierto

P1 Production

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

codalab/codabench#2263 · 8 comentarios · Abierto el 13/3/2026
More control over submissions for organizers Abierto

Enhancement P1

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

codalab/codabench#2249 · 1 comentario · Abierto el 9/3/2026
Auto-migration not working for multi-task Abierto

Bug

Dificultad 3/5 1-2 días Aptitud para principiantes 45/100

codalab/codabench#2247 · 1 comentario · Abierto el 9/3/2026

Mostrando los 100 más recientes

Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.

Abrir el filtro avanzado

codalab/codabench

Mostrando los 100 más recientes

Recibe los nuevos issues en tu correo