facebookresearch/ParlAI

Support tied positional weights in transformers

Open

#2184 aperta il 19 nov 2019

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (2089 fork)batch import
EnhancementH1 2020Help WantedMediumdonotreap

Metriche repository

Star
 (10.371 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Add a flag to use tied positional embeddings in transformer/generator and transformer/retrieval, and implement the tied weights. Should be False by default for backwards compatibility, and upgrade_opt should be used to migrate old models.

Guida contributor

Direzione di ricerca
Esamina il generatore transformer e i moduli di recupero in ParlAI (probabilmente in parlai/agents/transformer/). Rivedi come sono attualmente implementati gli embedding posizionali. Aggiungi un nuovo flag booleano per i pesi posizionali vincolati, con default a False. Implementa la logica dei pesi vincolati e usa upgrade opt per gestire la migrazione dei modelli vecchi. Controlla i commenti dell'issue #2184 per eventuali indicazioni aggiuntive.
Tech stack
python
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Understanding of transformer architecturesFamiliarity with ParlAI codebasePython programming
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30