pytorch/examples

Low training accuracy using pre-trained model

Open

#889 geöffnet am 4. März 2021

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (9.429 Forks)batch import
help wantedvision

Repository-Metriken

Stars
 (21.634 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Hello, I am trying to evaluate a pre-trained mobilenetv2 model from torchvision on the ImageNet training dataset using this script. To do so, I modify lines 235-237 to perform validation on the train loader instead of the val loader:

    if args.evaluate:
        validate(train_loader, model, criterion, args)
        return

Everything else is left untouched. The command I use to run is: python imagenet_train_example.py -a mobilenet_v2 -j 16 -b 1024 -e --pretrained /data/ImageNet However, the results are lower than expected: Acc@1 2.926 Acc@5 15.079 Loss 11.795791

Contributor Guide

Research-Richtung
Das Problem liegt in imagenet train example.py, Zeilen 235-237, wo der Benutzer das Skript geändert hat, um auf dem Trainingssatz anstelle des Validierungssatzes zu evaluieren. Die geringe Genauigkeit deutet auf eine Nichtübereinstimmung zwischen der Trainingsvorverarbeitung (einschließlich Datenaugmentierung) und der erwarteten Eingabe für das vortrainierte Modell hin. Untersuchen Sie die Datentransformationen für den Trainings Loader (die typischerweise zufällige Zuschnitte und horizontale Spiegelungen enthalten) im Vergleich zum Validierungs Loader (nur Mittelpunkt Zuschnitt). Die Lösung besteht wahrscheinlich darin, den Validierungs Loader für die Evaluation zu verwenden oder Validierungs ähnliche Transformationen anzuwenden, wenn auf dem Trainingssatz evaluiert wird. Verknüpfte PRs oder Kommentare geben keine weiteren Anweisungen.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60