pytorch/examples

Is the loss of the first word covered during the language model evaluation?

Open

#453 geöffnet am 26. Nov. 2018

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (9.429 Forks)batch import
good first issuenlp

Repository-Metriken

Stars
 (21.634 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

In the language model example, it seems that during the evaluation, the code starts from computing the loss of the second word. Thus, skipping the loss of the first word. https://github.com/pytorch/examples/blob/537f6971872b839b36983ff40dafe688276fe6c3/word_language_model/main.py#L136 https://github.com/pytorch/examples/blob/537f6971872b839b36983ff40dafe688276fe6c3/word_language_model/main.py#L121-L125

Furthermore, the evaluation data is divided into 10 batches, hence, the losses of 10 words are skipped. Am I right or I did miss something? https://github.com/pytorch/examples/blob/537f6971872b839b36983ff40dafe688276fe6c3/word_language_model/main.py#L85-L88

Contributor Guide

Research-Richtung
Untersuchen Sie die Evaluierungsschleife in den Zeilen 85-88 und 136 von main.py und vergleichen Sie sie mit der Trainingsschleife, um zu überprüfen, ob der Verlust des ersten Tokens ausgelassen wird. Verfolgen Sie den Datenfluss von Eingaben und Zielen, um zu sehen, ob das Modell das nächste Wort aus dem ersten Wort vorhersagt, aber den Verlust ab dem zweiten Wort berechnet.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60