Evaluation suite - output
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 30/100
Direzione di ricerca
Non sono indicati file, test o punti di ingresso dell’implementazione. Inizia esaminando il processo di valutazione e il contesto collegato di Evaluation Metrics Task Force, quindi individua dove vengono calcolate le metriche di riferimento/output; il lavoro è completato quando i report grezzi e di popolazione sono disponibili come data frame pandas e possono essere salvati nei formati CSV, XLSX e HTML.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Context
Following the evaluation process on a set of references / output pairs, an aggregated report should be produced
Describe the solution you'd like
2 separate aggregations should be proposed:
- Raw aggregation - All the calculated metrics for each reference/output pair should be made available
- Population aggregation - Core statistics of the metrics over the population of reference/output pair should be produced including
- central tendency and variation
- indication of range
- indication of cases at 5, 25, 50, 75, 95 percentile of performance for each metric
- The reports should be made available as pandas data frame with the option to save in a specified format (csv, xlsx, html)
Additional context
https://github.com/Project-MONAI/MONAI/wiki/Evaluation-metrics-task-force
@jenspetersen
@danieltudosiu
@AReinke
- Lingua principale
- Python
- Stelle
- 104
- Fork
- 18
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Project-MONAI/MetricsReloaded
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
-
MorphologyOps.foreground_component() ignores connectivity parameter, always uses 1-connectivity Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 55/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 50/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 52/100
Tutte le issue di Project-MONAI/MetricsReloaded
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
xinnan-tech/xiaozhi-fde-talk#263 ·
-
rules
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
huggingface/Repo2RLEnv#163 · 1 commento ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
huggingface/sentence-transformers#4074 ·
-
comp/dashboard invalid P3
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
NousResearch/hermes-agent#121143 ·