Proposal to Add Penalized Brier Score (PBS) and Penalized Log Loss (PLL) Methods

Aperta
  • Qualcosa non va?
#99 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
python
Ambito
machine-learning

Direzione di ricerca

Read the linked reference implementation and its unit tests for PBS and PLL, then compare their API and scoring conventions with the existing scoringrules package. The issue proposes two new scoring methods but names no package files or tests; done would mean both methods are integrated with tests covering the stated propriety conditions.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement

Hello @frazane ,

First, thank you for maintaining the excellent scoringrules package! I want to propose integrating the Penalized Brier Score (PBS) and Penalized Log Loss (PLL) methods from Ahmadian et al.'s work, which directly address limitations of traditional probabilistic scoring rules in classification tasks.

Key Advantages

  1. Fixes Critical Flaws

    • Resolves Brier Score/Log Loss failure to guarantee proper scoring in finite-sample regimes (Theorems/Proofs)
    • Introduces penalty term: `penalty = ensuring incorrect predictions always score worse than correct ones

  2. Theoretical Guarantees

    • Strictly proper by construction
    • Consistent model selection even with imperfect models

  3. Practical Benefits

    • Better guidance for early stopping and checkpointing
    • Robust to class imbalance
    • Computationally equivalent to traditional scores
Implementation Details

The reference Python implementation provides:

  • Vectorized PBS/PLL calculations
  • Unit tests verifying propriety conditions
  • Benchmarks against standard metrics

Would you consider adding these to scoringrules?

Paper: "Superior scoring rules..." (Ahmadian et al., Int. J. Approx. Reason. 2024)

Thank you for considering this contribution to improve probabilistic scoring!

Lingua principale
Python
Stelle
108
Fork
15
Merge medio
1h 42m
PR unite (30g)
9

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di frazane/scoringrules

Tutte le issue di frazane/scoringrules

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.