pytorch/examples

Low training accuracy using pre-trained model

Open

#889 aberto em 4 de mar. de 2021

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Python (9.429 forks)batch import
help wantedvision

Métricas do repositório

Stars
 (21.634 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hello, I am trying to evaluate a pre-trained mobilenetv2 model from torchvision on the ImageNet training dataset using this script. To do so, I modify lines 235-237 to perform validation on the train loader instead of the val loader:

    if args.evaluate:
        validate(train_loader, model, criterion, args)
        return

Everything else is left untouched. The command I use to run is: python imagenet_train_example.py -a mobilenet_v2 -j 16 -b 1024 -e --pretrained /data/ImageNet However, the results are lower than expected: Acc@1 2.926 Acc@5 15.079 Loss 11.795791

Guia do colaborador

Direção de pesquisa
O problema está em imagenet train example.py, linhas 235-237, onde o usuário modificou o script para avaliar no conjunto de treinamento em vez do conjunto de validação. A baixa acurácia sugere uma incompatibilidade entre o pré processamento de treinamento (incluindo aumento de dados) e a entrada esperada para o modelo pré treinado. Investigue as transformações de dados para o carregador de treinamento (que normalmente inclui cortes aleatórios e inversões horizontais) versus o carregador de validação (apenas corte central). A correção provavelmente envolve usar o carregador de validação para avaliação, ou aplicar transformações no estilo de validação se estiver avaliando no conjunto de treinamento. Nenhum PR ou comentário vinculado fornece mais orientações.
Pilha de tecnologia
pythonpytorch
Domain
machine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60