facebookresearch/fairseq

BF16 + FSDP

Open

#4298 aperta il 22 mar 2022

Vedi su GitHub
 (0 commenti) (2 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 Feature Request

Support BF16 with FSDP!

Motivation

Training with BF16 is usually more stable than fp16, which is very important when we want to train large models with FSDP. Additionally, many models (e.g. T5) are trained with BF16 and if we want to continue training them via Fairseq with mixed-precisio, using fp16 will result in NaNs.

Additional context

Currently FullyShardedDataParallel is not compatible with bf16 (as can be seen here). It will be really helpful to support it.

Guida contributor

Direzione di ricerca
La richiesta del problema è di aggiungere il supporto BF16 a FullyShardedDataParallel (FSDP) in fairseq. Il file principale da modificare è fairseq/trainer.py, in particolare intorno alla riga 71 dove attualmente viene gestito fp16. Indagare come FSDP viene inizializzato e come viene configurata la precisione mista. Fare riferimento alla documentazione di PyTorch su BF16 e FSDP. Poiché il problema risale al 2022 e non ha attività recenti, verificare nel codice corrente eventuali implementazioni parziali o modifiche. Non esistono PR o commenti collegati, quindi iniziare comprendendo l'implementazione fp16 esistente e poi estenderla per supportare bf16.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchfairseq
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60