Add Expected Calibration Error metrics and derived

Repository-Metriken

Stars

4.313 Stars (4.313 Stars)

PR-Merge-Metriken

Durchschn. Merge 15T 11h (Durchschn. Merge 15T 11h)17 gemergte PRs in 30 T (17 gemergte PRs in 30 T)

Beschreibung

Contributor Guide

Research-Richtung

Implementiere den Erwarteten Kalibrierungsfehler (ECE) und verwandte Metriken, wie in der Baal Bibliothek beschrieben (https://github.com/ElementAI/baal/blob/master/src/baal/utils/metrics.py#L88). Die Implementierung sollte dem API Muster der PyTorch Ignite Metriken folgen. Erwäge, die vorhandene Codestruktur in ignite/metrics anzupassen. Die Hauptaufgabe besteht darin, die ECE Berechnung zu portieren, die das Binning von Konfidenzwerten und die Berechnung der Genauigkeit pro Bin umfasst. Prüfe, ob im Repository bereits vorhandene kalibrierungsbezogene Hilfsmittel existieren.

Tech Stack

python

Domain

machine learning

Issue Type

Funktion

SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.

3

Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.

1-2 Tage

AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.

Veraltet

KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.

Klar

Voraussetzungen

PyTorch basicsCalibration metrics concepts

EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.

65