Kappa computation when predicted scores are on a different scale
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python, scikit-learn
- Ambito
- analytics, machine-learning
Direzione di ricerca
Non è indicato alcun file, test o punto di ingresso. Inizia individuando il calcolo di kappa e riproducendo il malfunzionamento con score predetti intorno a 1233372304332.22–1723509896207.16 e score osservati da 1–5. Il lavoro sarà considerato completato quando sarà implementata una policy concordata per gli intervalli di score non sovrapposti o eccessivamente grandi e il malfunzionamento sarà coperto da un test.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
In a situation where predicted scores are on a completely different scale from the observed scores, kappa computation fails because the range of possible scores is too large. We saw this recently with SGDRegressor which produced scores in the range 1233372304332.22 to 1723509896207.16 when human scores were 1-5.
Few possible solutions:
(1) Do not compute kappa if there is no overlap in range between predicted and observed scores.
(2) Do not compute kappa if the range is greater than certain threshold.
Thoughts?
- Lingua principale
- Python
- Stelle
- 71
- Fork
- 21
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di EducationalTestingService/rsmtool
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
EducationalTestingService/rsmtool#689 · 5 commenti ·
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
EducationalTestingService/rsmtool#557 · 1 assegnatario ·
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
-
good first issue help wanted
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
Tutte le issue di EducationalTestingService/rsmtool
Issue simili
-
essnmx good first issue
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
-
[Feature] 奇物选择添加优先级 Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
syfoud/Simulated_Scepter#174 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Giskard-AI/giskard-oss#2840 · 1 commento ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success Apertaarea: repo bug perceived difficulty: 2
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
yeti-platform/yeti#1380 ·