CarperAI/trlx

Add tensor padding options to improve hardware utilization

Open

#284 aperta il 6 feb 2023

Vedi su GitHub
 (8 commenti) (2 reazioni) (0 assegnatari)Python (450 fork)batch import
contributions welcomefeature requestgood first issue

Metriche repository

Star
 (4184 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 The feature, motivation, and pitch

Recent discussion on Twitter highlighted the importance of tensor padding to improve hardware util. NeMo seems to already support GPU-friendly vocab size padding from discussions with @cat-state but we should also consider adding an optional pad_to_multiple_of arg to our tokenizer calls with the accelerate/transformers backend to satisfy Tensor Core requirements.

image

The implementer should also provide system plots to display any improvements/findings.

Alternatives

No response

Additional context

No response

Guida contributor

Direzione di ricerca
Indagare le chiamate al tokenizer in trlx, identificare dove aggiungere pad to multiple of nelle chiamate al tokenizer con il backend accelerate/transformers e misurare i miglioramenti dell'utilizzo hardware utilizzando grafici di sistema.
Tech stack
python
Dominio
machine learningaibackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonHuggingFace Transformers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40