pytorch/examples

Is the loss of the first word covered during the language model evaluation?

Open

#453 aperta il 26 nov 2018

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (9429 fork)batch import
good first issuenlp

Metriche repository

Star
 (21.634 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

In the language model example, it seems that during the evaluation, the code starts from computing the loss of the second word. Thus, skipping the loss of the first word. https://github.com/pytorch/examples/blob/537f6971872b839b36983ff40dafe688276fe6c3/word_language_model/main.py#L136 https://github.com/pytorch/examples/blob/537f6971872b839b36983ff40dafe688276fe6c3/word_language_model/main.py#L121-L125

Furthermore, the evaluation data is divided into 10 batches, hence, the losses of 10 words are skipped. Am I right or I did miss something? https://github.com/pytorch/examples/blob/537f6971872b839b36983ff40dafe688276fe6c3/word_language_model/main.py#L85-L88

Guida contributor

Direzione di ricerca
Esamina il ciclo di valutazione nelle righe 85-88 e 136 di main.py e confrontalo con il ciclo di addestramento per verificare se la perdita del primo token viene omessa. Traccia il flusso di dati degli input e dei target per vedere se il modello prevede la parola successiva dalla prima parola ma calcola la perdita a partire dalla seconda parola.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60