Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Incorrect and undeterministic leaderboard ordering

Aperta
  • Qualcosa non va?
#2,687 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
backend, data-visualization

Direzione di ricerca

Start by reviewing linked issues 2321, 1540, 2000, and 2512, then inspect pull request 2666 for the proposed leaderboard changes. Reproduce the ordering with the score primary column and the “Add And Delete Multiple” submission rule, including n/a scores; done means leaderboard ordering and ranks are deterministic and correct for these cases.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Bug

Dear codabench-Team,

Throughout the Familiarization-Phase of our MUnitQuest - Algorithm Challenge we have experienced issues with the leaderboard ordering and the ranking of n/a-scores.
The primary column is score and the submission rule throughout the phase has been Add And Delete Multiple.

Image

We note that this issue may be similar to existing issues, for instance

We also note that the following PR may address the issues organizers and participants are experiencing: https://github.com/codalab/codabench/pull/2666.

However, as we are entering the final phase of our competition on November 2nd, we would like to ask about the timeframe and how to proceed in the meantime.
Currently, we are implementing a corrected mirror of the leaderboard on our competition website using the codabench-api and are raising awareness for potentially erroneous leaderboard representation in codabench. Yet it still causes some confusion among participants.

Thanks a lot for your support!

Best regards,
The MUnitQuest Organizers

Lingua principale
Python
Stelle
192
Fork
82
Merge medio
6g 18h
PR unite (30g)
42

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di codalab/codabench

Tutte le issue di codalab/codabench

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.