Trouble replicating 77.0% accuracy with the quantized version of EfficientNet-EdgeTPU-S

Aperta
#933 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
18/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma

Direzione di ricerca

The question concerns the preprocessing in efficientnet/preprocessing.py (the center-crop and resize to 224) and the mean/std normalization in efficientnet/main.py, both at the commit linked in the issue. Start by reading how the reference eval pipeline preprocesses ImageNet validation images, then compare it with the reporter's pipeline on a small subset of the quantized .tflite model. Done means finding which preprocessing difference accounts for the gap between 51.58% and 77.0%, or documenting the correct settings.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi,

I have been evaluating the quantized .tflite version of EfficientNet-EdgeTPU-S against the ImageNet validation set on my CPU. I have only managed to reach 51.58% accuracy and can't find why I am not seeing 77.0% accuracy.

I have found that normalizing the images by subtracting and dividing the image RGB values by the mean and standard deviation RGB values has only decreased the accuracy for the quantized version of the model. My general preprocessing approach has been cropping the image from the center and resizing the image to 224 by 224, which I got from here.

I believe that the reason for such low accuracy may be due to the preprocessing method that I am using but I am interested in receiving feedback on how to increase the accuracy when evaluating this model. Any advice?

Thank you

Lingua principale
Jupyter Notebook
Stelle
5.3k
Fork
1.7k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di tensorflow/tpu

Tutte le issue di tensorflow/tpu

Issue simili

Altre issue su Machine Learning

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.