pytorch/examples

Query on loss calculation in word language model

Offen

#1.082 geöffnet am 14.10.2022

Auf GitHub ansehenContributor Guide
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (9.429 Forks)batch import
help wanted

Repository-Metriken

Stars
 (21.634 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

In the main.py of word language model, I find that in the evaluate function the total_loss is getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L163

However in the train function, total_loss is not getting multiplied by length of data https://github.com/pytorch/examples/blob/ca1bd9167f7216e087532160fc5b98643d53f87e/word_language_model/main.py#L194

Is this proper?

Contributor Guide

Research-Richtung
Untersuche die evaluate und train Funktionen in word language model/main.py, Zeilen 163 und 194. In evaluate wird total loss mit len(data) multipliziert, in train jedoch nicht. Stelle fest, ob dies beabsichtigt ist, um über den Datensatz zu mitteln, oder ob es sich um eine Inkonsistenz handelt. Falls es ein Bug ist, schlage eine Korrektur vor; andernfalls füge einen Code Kommentar hinzu, der den Unterschied erklärt.
Tech Stack
python
Domain
machine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Unter 1 Stunde
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75