pytorch/examples

Query on loss calculation in word language model

Open

Aperta il 14 ott 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (21.634 star) (9429 fork)batch import
help wanted

Descrizione

In the main.py of word language model, I find that in the evaluate function the total_loss is getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L163

However in the train function, total_loss is not getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L194

Is this proper?

Guida contributor

Tech stack
python
Dominio
machine learningdocumentation
Tipo issue
documentation
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
under 1 hour
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
basic pythonpytorch familiarity
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
80
Direzione di ricerca
Examine the evaluate and train functions in word language model/main.py lines 163 and 194. The total loss is multiplied by len(data) in evaluate but not in train. Determine if this is intentional to average over the dataset or if it's an inconsistency. If a bug, propose a fix; otherwise add a code comment explaining the difference.