Kappa computation when predicted scores are on a different scale
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python, scikit-learn
- Área
- analytics, machine-learning
Línea de trabajo
No se especifica ningún archivo, prueba ni punto de entrada. Empieza localizando el cálculo de kappa y reproduciendo el fallo con scores predichos alrededor de 1233372304332.22–1723509896207.16 y scores observados de 1–5. Se considerará terminada cuando se haya implementado una política acordada para rangos de scores que no se solapan o que son excesivamente grandes, y el fallo esté cubierto por una prueba.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
In a situation where predicted scores are on a completely different scale from the observed scores, kappa computation fails because the range of possible scores is too large. We saw this recently with SGDRegressor which produced scores in the range 1233372304332.22 to 1723509896207.16 when human scores were 1-5.
Few possible solutions:
(1) Do not compute kappa if there is no overlap in range between predicted and observed scores.
(2) Do not compute kappa if the range is greater than certain threshold.
Thoughts?
- Lenguaje dominante
- Python
- Estrellas
- 71
- Forks
- 21
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de EducationalTestingService/rsmtool
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
EducationalTestingService/rsmtool#689 · 5 comentarios ·
-
enhancement
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
EducationalTestingService/rsmtool#557 · 1 asignado ·
-
enhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
-
good first issue help wanted
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
Todos los issues de EducationalTestingService/rsmtool
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
anthropics/skills#1811 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
speaches-ai/speaches#678 ·
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
datalayer/mcp-compose#42 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
conda-forge/spacy-feedstock#177 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
UKGovernmentBEIS/inspect_evals#2523 ·