facebookresearch/fairseq

BF16 + FSDP

Open

#4 298 ouverte le 22 mars 2022

Voir sur GitHub
 (0 commentaires) (2 réactions) (0 assignés)Python (6 224 forks)batch import
enhancementhelp wantedneeds triage

Métriques du dépôt

Stars
 (29 107 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

🚀 Feature Request

Support BF16 with FSDP!

Motivation

Training with BF16 is usually more stable than fp16, which is very important when we want to train large models with FSDP. Additionally, many models (e.g. T5) are trained with BF16 and if we want to continue training them via Fairseq with mixed-precisio, using fp16 will result in NaNs.

Additional context

Currently FullyShardedDataParallel is not compatible with bf16 (as can be seen here). It will be really helpful to support it.

Guide contributeur

Direction de recherche
La demande de l'issue est d'ajouter la prise en charge de BF16 à FullyShardedDataParallel (FSDP) dans fairseq. Le fichier principal à modifier est fairseq/trainer.py, en particulier autour de la ligne 71 où fp16 est actuellement géré. Étudiez comment FSDP est initialisé et comment la précision mixte est configurée. Référez vous à la documentation PyTorch sur BF16 et FSDP. Comme l'issue date de 2022 et n'a pas d'activité récente, vérifiez la base de code actuelle pour toute implémentation partielle ou modification. Il n'y a pas de PR ou de commentaires liés, commencez donc par comprendre l'implémentation fp16 existante, puis étendez la pour prendre en charge bf16.
Stack technique
python
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchfairseq
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60