Evaluate pretrained models (metrics, size, MACs)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
Línea de trabajo
Work in scripts/evaluate_pretrained.py, which should produce results/metrics_pretrained.json and figures/curves_pretrained.png. Start by reading the script and the issues this depends on (#37, #23, #25, #26, #27), since the pretrained models and their outputs come from them. Measure params, size on disk, MACs at 64x64 via thop.profile, and latency. Done when the metrics JSON contains entries for both pretrained models.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The brief asks for parameter count and model size in MB.
Files: scripts/evaluate_pretrained.py
Tasks
- Accuracy, precision, recall, F1, confusion matrices -> figures
- Params, size on disk (MB), MACs at 64x64 using
thop.profile, latency - Curves figure ->
figures/curves_pretrained.png; metrics ->results/metrics_pretrained.json
Done when
Metrics JSON contains both pretrained models.
Depends on
#37 #23 #25 #26 #27
Close with a commit or PR message containing Closes #<this issue>.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 0
- Forks
- 0
- Merge medio
- 5 h 32 min
- PR fusionados (30 d)
- 5
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de VisionForgeCSE/CNN-For-Image-Classification
-
Inference latency benchmarkAbiertoevaluation
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
-
evaluation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
-
Plot confusion matrixAbiertoevaluation
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Save training histories to JSONAbiertotraining
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Optimizer factoryAbiertotraining
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Todos los issues de VisionForgeCSE/CNN-For-Image-Classification
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Openpanel-dev/openpanel#543 ·
Los mantenedores suelen responder en 1 día
-
mermaid_extract.py silently discards single-line state-diagram notes; sequence notes are keptAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
cathrynlavery/diagram-design#441 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
DataDog/dd-sdk-reactnative#1495 ·
Los mantenedores suelen responder en 2 días
-
Style panel: pie and ring chart icons render empty when the chart has no start angle (NaN SVG path)Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
cytoscape/cytoscape-web#842 ·
Los mantenedores suelen responder en 1 día
-
Bug | Bogue
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
cds-snc/canadalogin-user-selfservice-webapp#2342 ·
Los mantenedores suelen responder en 1 día