pytorch/examples

Low training accuracy using pre-trained model

Open

#889 ouverte le 4 mars 2021

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Python (9 429 forks)batch import
help wantedvision

Métriques du dépôt

Stars
 (21 634 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Hello, I am trying to evaluate a pre-trained mobilenetv2 model from torchvision on the ImageNet training dataset using this script. To do so, I modify lines 235-237 to perform validation on the train loader instead of the val loader:

    if args.evaluate:
        validate(train_loader, model, criterion, args)
        return

Everything else is left untouched. The command I use to run is: python imagenet_train_example.py -a mobilenet_v2 -j 16 -b 1024 -e --pretrained /data/ImageNet However, the results are lower than expected: Acc@1 2.926 Acc@5 15.079 Loss 11.795791

Guide contributeur

Direction de recherche
Le problème se trouve dans imagenet train example.py, lignes 235-237, où l'utilisateur a modifié le script pour évaluer sur l'ensemble d'entraînement au lieu de l'ensemble de validation. La faible précision suggère un décalage entre le prétraitement de l'entraînement (y compris l'augmentation des données) et l'entrée attendue pour le modèle pré entraîné. Étudiez les transformations de données pour le chargeur d'entraînement (qui incluent généralement des recadrages aléatoires et des retournements horizontaux) par rapport au chargeur de validation (recadrage central uniquement). La correction implique probablement d'utiliser le chargeur de validation pour l'évaluation, ou d'appliquer des transformations de style validation si l'évaluation se fait sur l'ensemble d'entraînement. Aucune PR ou commentaire lié ne fournit de directives supplémentaires.
Stack technique
pythonpytorch
Domaine
machine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60