Re-run and re-submit features
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 12/100
Línea de trabajo
This is a tracking issue, not a single task, and the payload names no files or tests. Start by reading the linked pull requests (#2620, #2642, #2644) and related issues (#2636, #2637, #2655) to see what is already under way. The open items are an edited-task flag, in-place re-running, and the re-submit feature, so a newcomer should first ask the maintainers which one is free to pick up.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I create this issue to clarify and track the development around the "re-run" and the "re-submit" features.
TODO
Flagging mixed leaderboard
- Removed task: #2674
- Edited task: ??? (PR to make)
Related issue: #2637
Rework "re-running" feature
- Error/warning if task removed/edited: https://github.com/codalab/codabench/pull/2620
- In-place re-running: (PR to make)
- Codabench erases all data related to the submission then launches it again (same ID, re-run will not make a new submission. Quota is not consumed for the participant. Old tasks/datasets are used since it's re-running in the same state)
-
NO (behavior change on re-run) https://github.com/codalab/codabench/pull/2624
Add "re-submit" feature
Other "re-run" related issues
- #2655
- #2636
- Lenguaje dominante
- Python
- Estrellas
- 192
- Forks
- 82
- Merge medio
- 6 d 18 h
- PR fusionados (30 d)
- 42
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de codalab/codabench
-
Wrong count for failed submissions in Resource interfacePosiblemente ocupada @ihsaan-ullah la tomó hace 21 días. AbiertoBug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Los mantenedores suelen responder en 1 día
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
Los mantenedores suelen responder en 1 día
-
Post-it
Dificultad 3/5 1-2 días Aptitud para principiantes 70/100
codalab/codabench#2676 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Post-it
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Los mantenedores suelen responder en 1 día
Todos los issues de codalab/codabench
Issues similares
-
enhancement help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Git-Hospital/githealthcheck#61 ·
Los mantenedores suelen responder en 1 día
-
changelog investigate
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
ramnes/notion-sdk-py#433 ·
-
Partial method descriptors raise on class accessPosiblemente ocupada @Gambit-Checkmate la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 19 días
-
docs pkg:core
Dificultad 1/5 Menos de una hora Aptitud para principiantes 84/100
pydantic/pydantic-ai#11929 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
intake/intake-esm#789 ·