pytorch/examples

Query on loss calculation in word language model

Open

#1 082 ouverte le 14 oct. 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (21 634 stars) (9 429 forks)batch import
help wanted

Description

In the main.py of word language model, I find that in the evaluate function the total_loss is getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L163

However in the train function, total_loss is not getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L194

Is this proper?

Guide contributeur

Stack technique
python
Domaine
machine learningdocumentation
Type d'issue
documentation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
under 1 hour
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
basic pythonpytorch familiarity
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
80
Direction de recherche
Examine the evaluate and train functions in word language model/main.py lines 163 and 194. The total loss is multiplied by len(data) in evaluate but not in train. Determine if this is intentional to average over the dataset or if it's an inconsistency. If a bug, propose a fix; otherwise add a code comment explaining the difference.