facebookresearch/ParlAI

Retire custom AdamWithDecay

Open

#2232 aperta il 2 dic 2019

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (2089 fork)batch import
AgentsCode QualityHelp WantedMinordonotreap

Metriche repository

Star
 (10.371 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

We have a custom Adam optimizer that says it could be removed via pytorch 1.2:

https://github.com/facebookresearch/ParlAI/blob/3a5de86667816abbdb0f08049c86d1e2c3aff03e/parlai/agents/bert_ranker/helpers.py#L242-L350

The task is to remove it and upgrade to the official pytorch version.

The helper function minimizes the pain required, though I'm wondering if we'll need to upgrade some state dicts, so make sure you run long tests. https://github.com/facebookresearch/ParlAI/blob/3a5de86667816abbdb0f08049c86d1e2c3aff03e/parlai/agents/bert_ranker/helpers.py#L205

Guida contributor

Direzione di ricerca
Esamina l'implementazione personalizzata AdamWithDecay all'indirizzo https://github.com/facebookresearch/ParlAI/blob/3a5de86667816abbdb0f08049c86d1e2c3aff03e/parlai/agents/bert ranker/helpers.py#L242 L350 e la funzione helper che minimizza la complessità. Sostituisci l'ottimizzatore personalizzato con torch.optim.Adam, assicurandoti di gestire eventuali differenze nello state dict. Esegui test lunghi per verificarne la correttezza. Controlla se altre parti della codebase dipendono dall'implementazione personalizzata.
Tech stack
pythonpytorch
Dominio
machine learningbackend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Familiarity with PyTorch optimizersUnderstanding of state dict migration
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40