Multi-task not working with Force Last submission rule
Los mantenedores suelen responder en 2 días
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
Línea de trabajo
Comienza reproduciendo el caso multi-task con las reglas Force Last y Force Last Multiple, y luego sigue dónde se aplica la regla a los envíos padre e hijo. Se considera terminado cuando solo aparece el envío padre en el leaderboard con las puntuaciones de los envíos hijo, y My Submissions marca correctamente los estados leaderboard y failed.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
When you have more than one task and leaderboard rule is Force Last or Force Last Multiple:
- You see
N/abecause one of the child submission is on the leaderboard and the other one showsN/a. - Also, on "My Submissions" tab, no submission is marked as "on the leaderboard".
Failedsubmissions are marked asFinished.
We should NOT show the child submission on the leaderboard. Only the parent submission should be shown with scores from child submissions.
It looks like when the rule is applied, it is applied to submissions regardless of if they are parent or child.
Reported in:
- #1570
- #1540
- Lenguaje dominante
- Python
- Estrellas
- 186
- Forks
- 81
- Merge medio
- 6 d 5 h
- PR fusionados (30 d)
- 50
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de codalab/codabench
-
Wrong count for failed submissions in Resource interfacePosiblemente ocupada @ihsaan-ullah la tomó hace 14 días. AbiertoBug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 2 días
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
codalab/codabench#2679 · 5 comentarios · 5 reacciones ·
Los mantenedores suelen responder en 2 días
-
Post-it
Dificultad 3/5 1-2 días Aptitud para principiantes 70/100
codalab/codabench#2676 · 2 comentarios ·
Los mantenedores suelen responder en 2 días
-
Post-it
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Los mantenedores suelen responder en 2 días
-
Enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 50/100
Los mantenedores suelen responder en 2 días
Todos los issues de codalab/codabench
Issues similares
-
Validate non-divisible effective batch sizes in the Unsloth LoRA backendPosiblemente ocupada @debesh-biswas la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
`rx.Model` event arguments emit `PydanticDeprecatedSince20` once per payload keyPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
reflex-dev/reflex#7634 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
documentation
Dificultad 1/5 1-3 horas Aptitud para principiantes 82/100
topoteretes/cognee#6239 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
ranaroussi/yfinance#3009 ·
Los mantenedores suelen responder en 1 día
-
Test discovery aborts on GPU builds without cuStateVec: check_cuStateVec expects a failed result but set_config() now raises RuntimeErrorPosiblemente ocupada @dmeliksetian la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Qiskit/qiskit-aer#2495 ·
Los mantenedores suelen responder en 1 día