pytorch/examples

Low training accuracy using pre-trained model

Open

#889 ouverte le 4 mars 2021

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Python (21 634 stars) (9 429 forks)batch import
help wantedvision

Description

Hello, I am trying to evaluate a pre-trained mobilenetv2 model from torchvision on the ImageNet training dataset using this script. To do so, I modify lines 235-237 to perform validation on the train loader instead of the val loader:

    if args.evaluate:
        validate(train_loader, model, criterion, args)
        return

Everything else is left untouched. The command I use to run is: python imagenet_train_example.py -a mobilenet_v2 -j 16 -b 1024 -e --pretrained /data/ImageNet However, the results are lower than expected: Acc@1 2.926 Acc@5 15.079 Loss 11.795791

Guide contributeur

Stack technique
python
Domaine
machine learning
Type d'issue
bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
under 1 hour
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
needs maintainer response
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
needs investigation
Prérequis
PythonPyTorchImageNet dataset
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30
Direction de recherche
The issue is in imagenet train example.py, lines 235-237, where the user modified the script to evaluate on the training set instead of the validation set. The low accuracy suggests a mismatch between training preprocessing (including data augmentation) and the expected input for the pre trained model. Investigate the data transforms for the training loader (which typically include random crops and horizontal flips) versus the validation loader (center crop only). The fix likely involves using the validation loader for evaluation, or applying validation style transforms if evaluating on the training set. No linked PRs or comments provide further direction.