Test-set evaluation metrics
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- Medio día
- Aptitud para principiantes
- 55/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- python, scikit-learn
- Área
- machine-learning
Línea de trabajo
Work goes in src/metrics.py, where evaluate(model, loader) should wrap scikit-learn metrics for accuracy, macro precision/recall/F1, per-class scores and the confusion matrix. Check issue #19 first, since the model and loader interface this depends on may not exist yet. Done means the returned dict is JSON-serialisable for a trained model and classification_report prints with class names.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Accuracy, per-class and macro precision/recall/F1, confusion matrix.
Files: src/metrics.py
Tasks
-
evaluate(model, loader)using scikit-learn - Return dict: accuracy, precision_macro, recall_macro, f1_macro, per_class, confusion
- Print
classification_reportwith class names
Done when
Metrics dict for a trained model is JSON-serialisable.
Depends on
#19
Close with a commit or PR message containing Closes #<this issue>.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 0
- Forks
- 0
- Merge medio
- 5 h 32 min
- PR fusionados (30 d)
- 5
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de VisionForgeCSE/CNN-For-Image-Classification
-
Inference latency benchmarkAbiertoevaluation
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
-
evaluation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
-
Plot confusion matrixAbiertoevaluation
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Save training histories to JSONAbiertotraining
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Optimizer factoryAbiertotraining
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Todos los issues de VisionForgeCSE/CNN-For-Image-Classification
Issues similares
-
Non-positive worker counts wait for results without starting workersPosiblemente ocupada @IlyaKhalafi la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
-
1D intercept of length 1 is accepted as `fix_params` in population GLM with more than 1 unitPosiblemente ocupada @dhvani7014 la tomó hoy. Abiertobug good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
flatironinstitute/nemos#642 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
aws/sagemaker-python-sdk#6459 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
oss-slu/mithridatium#152 ·
Los mantenedores suelen responder en 2 días