pytorch/examples

Query on loss calculation in word language model

Open

#1082 aperta il 14 ott 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (9429 fork)batch import
help wanted

Metriche repository

Star
 (21.634 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

In the main.py of word language model, I find that in the evaluate function the total_loss is getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L163

However in the train function, total_loss is not getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L194

Is this proper?

Guida contributor

Direzione di ricerca
Esamina le funzioni evaluate e train alle righe 163 e 194 di word language model/main.py. In evaluate, total loss viene moltiplicato per len(data), ma non in train. Determina se ciò è intenzionale per calcolare la media sul dataset o se si tratta di un'incoerenza. Se è un bug, proponi una correzione; altrimenti, aggiungi un commento nel codice che spieghi la differenza.
Tech stack
python
Dominio
machine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Meno di 1 ora
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75