Add Expected Calibration Error metrics and derived

Métricas do repositório

Stars

4.313 stars (4.313 stars)

Métricas de merge de PR

Mesclagem média 15d 11h (Mesclagem média 15d 11h)17 fundiu PRs em 30d (17 fundiu PRs em 30d)

Description

Guia do colaborador

Direção de pesquisa

Implemente o Erro de Calibração Esperado (ECE) e métricas relacionadas conforme descrito na biblioteca Baal (https://github.com/ElementAI/baal/blob/master/src/baal/utils/metrics.py#L88). A implementação deve seguir o padrão da API de métricas do PyTorch Ignite. Considere adaptar a estrutura de código existente em ignite/metrics. A tarefa principal é portar o cálculo do ECE, que envolve agrupar (binning) os escores de confiança e calcular a acurácia por grupo. Verifique se há alguma utilidade existente relacionada à calibração no repositório.

Pilha de tecnologia

python

Domain

machine learning

Tipo Issue

Funcionalidade

DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.

3

Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.

1-2 dias

Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.

Antigo

ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.

Claro

Prerequisites

PyTorch basicsCalibration metrics concepts

Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.

65