facebookresearch/fairseq

bf16 with A100 GPUs

Open

#4696 aperta il 5 set 2022

Vedi su GitHub
 (2 commenti) (11 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

A100 GPUs should support bf16 unless I am mistaken. I see it's currently only supported with TPUs. Are there any plans to support this?

Guida contributor

Direzione di ricerca
Esamina il supporto di PyTorch per bfloat16 su GPU A100 e implementa il supporto bf16 per le operazioni rilevanti in fairseq.
Tech stack
pythonpytorch
Dominio
backendmachine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchGPU computing
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65