pytorch/examples

Query on loss calculation in word language model

Open

#1 082 ouverte le 14 oct. 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (9 429 forks)batch import
help wanted

Métriques du dépôt

Stars
 (21 634 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

In the main.py of word language model, I find that in the evaluate function the total_loss is getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L163

However in the train function, total_loss is not getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L194

Is this proper?

Guide contributeur

Direction de recherche
Examinez les fonctions evaluate et train aux lignes 163 et 194 de word language model/main.py. Dans evaluate, total loss est multiplié par len(data), mais pas dans train. Déterminez si cela est intentionnel pour faire la moyenne sur l'ensemble de données ou s'il s'agit d'une incohérence. Si c'est un bug, proposez une correction ; sinon, ajoutez un commentaire dans le code expliquant la différence.
Stack technique
python
Domaine
machine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Moins d'une heure
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75