Leaderboard and Submissions tab should show if a submission was run (and scored) on outdated tasks/datasets
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 42/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- full-stack
Direzione di ricerca
The issue names no files, tests or entry points, so start by finding where task and dataset edits are saved and where the Leaderboard and Submissions tabs get their data. Decide how an outdated run is recorded, then show it in both tabs. Done means organizers see the affected submissions and participants see a re-submit notice. Ask in the thread how the outdated state should be defined before coding.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
If the organizer modifies the task/dataset of an active phase, they should be able to see all the submission that was run on the outdated task/dataset (and it should be shown to participants)
This allows both Organizers and Participant to know that they have to re-submit their submission to get an up-to-date score
- Lingua principale
- Python
- Stelle
- 181
- Fork
- 80
- Merge medio
- 2g 2h
- PR unite (30g)
- 32
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di codalab/codabench
-
Wrong count for failed submissions in Resource interfaceForse già presa @ihsaan-ullah l’ha presa 1 giorno fa. ApertaBug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
Beginner Enhancement UI
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 1-2 giorni Idoneità per principianti 25/100
I maintainer di solito rispondono entro 1 giorno
-
Enhancement
Difficoltà 3/5 1-2 giorni Idoneità per principianti 40/100
I maintainer di solito rispondono entro 1 giorno
-
Site-wide announcementsApertaEnhancement UI
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di codalab/codabench
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
MystenLabs/MemWal#1163 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
infertopics leaves new nodes without a topic when untopiced neighbours outnumber topiced onesForse già presa @moneebullah25 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
ClanGenOfficial/clangen#6254 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
FinanceFlash/unvibecode#218 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno