Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Code scan] Downstream aggregation drops domains instead of incomplete models

Aperta Adatta ai principianti
  • Qualcosa non va?
#438 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
74/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
data

Direzione di ricerca

Inizia da lambench/metrics/vishelper/metrics_calculations.py alle righe 152-164 e traccia come domain_results viene aggregato e filtrato. Aggiungi il test di regressione descritto nell'issue, usando un modello a cui manca un singolo dominio; il lavoro è completato quando i modelli incompleti vengono gestiti secondo la policy documentata scelta senza eliminare globalmente quel dominio.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

This issue was found by a Codex global repository scan of tracked non-test files at commit 8c93925cb10b401b2b83c738bd9263fd74474468.

Relevant code

https://github.com/deepmodeling/LAMBench/blob/8c93925cb10b401b2b83c738bd9263fd74474468/lambench/metrics/vishelper/metrics_calculations.py#L152-L164

Impact

domain_results has models as rows and domains as columns, but dropna(axis=1) removes columns. If one model is missing a downstream domain, that domain is dropped for every model, and the incomplete model can still be ranked using the remaining domains.

This changes leaderboard scores by removing valid domains globally instead of excluding or penalizing the incomplete model.

Suggested fix

Make missing-domain policy explicit. For example, compute domain means with skipna=False and then dropna(axis=0) for incomplete models, or apply a documented penalty to missing domains. Add a regression test with one model missing a single domain.

Lingua principale
Python
Stelle
20
Fork
11
Merge medio
1m
PR unite (30g)
3

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di deepmodeling/LAMBench

Tutte le issue di deepmodeling/LAMBench

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.