Add Expected Calibration Error metrics and derived

Metriche repository

Star

4313 star (4313 star)

Metriche merge PR

Merge medio 15g 11h (Merge medio 15g 11h)17 PR mergiate in 30 g (17 PR mergiate in 30 g)

Descrizione

Guida contributor

Direzione di ricerca

Implementa l'Errore di Calibrazione Atteso (ECE) e le metriche correlate come descritto nella libreria Baal (https://github.com/ElementAI/baal/blob/master/src/baal/utils/metrics.py#L88). L'implementazione dovrebbe seguire il pattern dell'API delle metriche di PyTorch Ignite. Considera di adattare la struttura del codice esistente in ignite/metrics. Il compito principale è portare il calcolo dell'ECE, che coinvolge il binning dei punteggi di confidenza e il calcolo dell'accuratezza per bin. Verifica l'esistenza di eventuali utility correlate alla calibrazione nel repository.

Tech stack

python

Dominio

machine learning

Tipo issue

Funzionalità

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

1-2 giorni

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Datata

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Chiara

Prerequisiti

PyTorch basicsCalibration metrics concepts

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

65