Performance metrics - report average class accuracy, rather than just accuracy.
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 38/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- keras, python
- Ambito
- machine-learning
Direzione di ricerca
Inizia individuando la configurazione delle metriche di training e validation di Keras in DeepProfiler e verificando come viene selezionata l’attuale metrica di accuracy. Usa lo scenario di sbilanciamento delle classi dell’issue per definire il comportamento dell’accuracy media per classe, quindi verifica che venga usata come metrica di performance predefinita sia per il training sia per la validation.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
As discussed in issue #237 and PR #238 , the training and validation results can be biased by the class imbalance typical in high-throughput experiments. Negative controls tend to have a lot more example images, both for training and validation, while other classes have only a few. The accuracy metric, which is the default in DeepProfiler training and validation, is sensitive to class imbalance. Therefore, the observed performance may not inform correctly how many phenotypes can be recognized, only how many images regardless of the class.
We should use average class accuracy to obtain a metric that gives an estimate of how many classes can be accurately recognized from the images, instead of how many images are correctly classified independently of their class.
As far as I know, Keras does not implement a metric like this. But we could easily implement a metric plugin and make it the default performance metric in DeepProfiler.
- Lingua principale
- Python
- Stelle
- 129
- Fork
- 52
- Merge medio
- 5h 20m
- PR unite (30g)
- 2
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di cytomining/DeepProfiler
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
cytomining/DeepProfiler#360 · 5 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
cytomining/DeepProfiler#359 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
cytomining/DeepProfiler#355 · 1 commento ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
cytomining/DeepProfiler#352 · 3 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
cytomining/DeepProfiler#347 · 3 commenti ·
Tutte le issue di cytomining/DeepProfiler
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
I maintainer di solito rispondono entro 1 giorno
-
https://search.utilibre.orgApertainstance instance add
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
searxng/searx-instances#941 · 1 commento ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
FluidNumerics/fluid-walk-blocker#89 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno