pytorch/examples

word_language_model with torch.nn.modules.transformer

Open

Aperta il 9 feb 2023

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (21.634 star) (9429 fork)batch import
docsgood first issuenlp

Descrizione

The torch.nn.modules.transformer documentation says the word_language_model example in this repo is an example of its use. But it seems to instead DIY a transformer and uses that instead. Is this intentional? I would offer my help to write it for torch.nn.modules.transformer but I'm here to learn how to use it.

Guida contributor

Tech stack
python
Dominio
machine learningdocumentation
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
half day
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
PythonPyTorch basicsTransformer architecture
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60
Direzione di ricerca
Examine the existing word language model example in the pytorch/examples repository (likely under examples/word language model). Compare the current DIY transformer implementation with the official torch.nn.Transformer module. Review the documentation for torch.nn.modules.transformer to understand how to integrate it. Check the issue comments for any additional context or maintainer feedback.