Leaderboard and Submissions tab should show if a submission was run (and scored) on outdated tasks/datasets
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 42/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- full-stack
Línea de trabajo
The issue names no files, tests or entry points, so start by finding where task and dataset edits are saved and where the Leaderboard and Submissions tabs get their data. Decide how an outdated run is recorded, then show it in both tabs. Done means organizers see the affected submissions and participants see a re-submit notice. Ask in the thread how the outdated state should be defined before coding.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
If the organizer modifies the task/dataset of an active phase, they should be able to see all the submission that was run on the outdated task/dataset (and it should be shown to participants)
This allows both Organizers and Participant to know that they have to re-submit their submission to get an up-to-date score
- Lenguaje dominante
- Python
- Estrellas
- 192
- Forks
- 82
- Merge medio
- 6 d 3 h
- PR fusionados (30 d)
- 45
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de codalab/codabench
-
Wrong count for failed submissions in Resource interfacePosiblemente ocupada @ihsaan-ullah la tomó hace 19 días. AbiertoBug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
Los mantenedores suelen responder en 1 día
-
Post-it
Dificultad 3/5 1-2 días Aptitud para principiantes 70/100
codalab/codabench#2676 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Post-it
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Los mantenedores suelen responder en 1 día
-
Enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 50/100
Los mantenedores suelen responder en 1 día
Todos los issues de codalab/codabench
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
pydot/pydot#601 · 4 comentarios ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
letsencrypt/cp-cps#361 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
CI: startup_failure because callers grant fewer permissions than ledger-app-workflows@v1 declaresPosiblemente ocupada @maykonmichel la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
LedgerHQ/app-boilerplate-rust#227 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
linuxmint/mintupdate#1107 ·