Trouble replicating 77.0% accuracy with the quantized version of EfficientNet-EdgeTPU-S
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 18/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- machine-learning
Línea de trabajo
The question concerns the preprocessing in efficientnet/preprocessing.py (the center-crop and resize to 224) and the mean/std normalization in efficientnet/main.py, both at the commit linked in the issue. Start by reading how the reference eval pipeline preprocesses ImageNet validation images, then compare it with the reporter's pipeline on a small subset of the quantized .tflite model. Done means finding which preprocessing difference accounts for the gap between 51.58% and 77.0%, or documenting the correct settings.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi,
I have been evaluating the quantized .tflite version of EfficientNet-EdgeTPU-S against the ImageNet validation set on my CPU. I have only managed to reach 51.58% accuracy and can't find why I am not seeing 77.0% accuracy.
I have found that normalizing the images by subtracting and dividing the image RGB values by the mean and standard deviation RGB values has only decreased the accuracy for the quantized version of the model. My general preprocessing approach has been cropping the image from the center and resizing the image to 224 by 224, which I got from here.
I believe that the reason for such low accuracy may be due to the preprocessing method that I am using but I am interested in receiving feedback on how to increase the accuracy when evaluating this model. Any advice?
Thank you
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 5.3k
- Forks
- 1.7k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de tensorflow/tpu
-
Dificultad 2/5 Medio día Aptitud para principiantes 62/100
tensorflow/tpu#3542 ·
-
imagenet_to_gcs.pyAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
tensorflow/tpu#951 · 2 reacciones ·
-
Broken linkAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 70/100
tensorflow/tpu#908 ·
-
Bug in imagenet_to_gcs.pyAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100
tensorflow/tpu#889 · 1 comentario · 1 reacción ·
-
Round filters Comment has typoAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
tensorflow/tpu#582 · 1 comentario ·
Todos los issues de tensorflow/tpu
Issues similares
-
needs-triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
flashinfer-ai/flashinfer#9803 ·
Los mantenedores suelen responder en 1 día
-
bug module: rl
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
NVIDIA/Megatron-LM#9644 ·
Los mantenedores suelen responder en 2 días
-
`build_flavor_config_from_local_checkpoint` fails with transformers 5.23.0: pipeline `impl` is now a dotted-path stringPosiblemente ocupada @mlflow-app la tomó hoy. Abiertohas-closing-pr nightly triage: reproduced
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
mlflow/mlflow#28000 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
X-PLUG/MobileAgent#304 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
FluxML/Optimisers.jl#254 ·