facebookresearch/fairseq

Finetune without resetting learning rate

Open

#5250 aperta il 10 lug 2023

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Finetune-from-model rests learning rate, is there a way to finetune without resetting it?

Guida contributor

Direzione di ricerca
Analizza il comando finetune from model in fairseq per capire come viene reimpostato il tasso di apprendimento. Considera l'aggiunta di un flag da riga di comando (ad es. preserve lr) per mantenere il tasso di apprendimento originale dal checkpoint. Esamina il ciclo di addestramento in fairseq/trainer.py e le configurazioni pertinenti in fairseq/optim/ per implementare l'opzione.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
fairseq basicslearning rate scheduling
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60