Evaluate Model A and Model B on the test set
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 42/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Start in scripts/evaluate_custom.py, which the issue names as the file to create or extend. Blockers #32, #23 and #25 must land first, since the saved checkpoints for Model A and Model B come from them. Compute accuracy, precision, recall, F1 and a confusion matrix per model, save figures/cm_model_A.png and figures/cm_model_B.png, and write results/metrics_custom.json. Done when that JSON contains entries for both models.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Load the saved checkpoints and compute all metrics.
Files: scripts/evaluate_custom.py
Tasks
- Accuracy, precision, recall, F1, confusion matrix for each model
- Confusion-matrix figures ->
figures/cm_model_A.png,figures/cm_model_B.png - Save metrics to
results/metrics_custom.json
Done when
Metrics JSON contains both models.
Depends on
#32 #23 #25
Close with a commit or PR message containing Closes #<this issue>.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 0
- Forks
- 0
- Merge medio
- 1 min
- PR fusionados (30 d)
- 3
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de VisionForgeCSE/CNN-For-Image-Classification
-
Inference latency benchmarkAbiertoevaluation
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
-
evaluation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
-
Plot confusion matrixAbiertoevaluation
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Save training histories to JSONAbiertotraining
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Optimizer factoryAbiertotraining
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Todos los issues de VisionForgeCSE/CNN-For-Image-Classification
Issues similares
-
area:docs
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
jejjohnson/geonnax#89 ·
Los mantenedores suelen responder en 1 día
-
Triage 🩺
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
SM120: every chunk_gated_delta_rule call raises ImportError for aggregate_card_state (0.1.3)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
[Bug]: iter_prefetch crashes on accelerators without record_stream (MPS)Posiblemente ocupada @begcdn la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
vllm-project/llm-compressor#3269 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 60/100
Los mantenedores suelen responder en 2 días