pytorch/examples

Query on loss calculation in word language model

Open

#1.082 aberto em 14 de out. de 2022

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (9.429 forks)batch import
help wanted

Métricas do repositório

Stars
 (21.634 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

In the main.py of word language model, I find that in the evaluate function the total_loss is getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L163

However in the train function, total_loss is not getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L194

Is this proper?

Guia do colaborador

Direção de pesquisa
Examine as funções evaluate e train nas linhas 163 e 194 de word language model/main.py. Em evaluate, total loss é multiplicado por len(data), mas em train não. Determine se isso é intencional para calcular a média sobre o conjunto de dados ou se é uma inconsistência. Se for um bug, proponha uma correção; caso contrário, adicione um comentário no código explicando a diferença.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Menos de 1 hora
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75