huggingface/accelerate

[Community Contributions] examples on distributed inference using 🤗 Accelerate

Open

#3078 aperta il 4 set 2024

Vedi su GitHub
 (4 commenti) (2 reazioni) (0 assegnatari)Python (626 fork)batch import
contributions-welcomegood first issuewip

Metriche repository

Star
 (5805 star)
Metriche merge PR
 (Merge medio 13g 14h) (24 PR mergiate in 30 g)

Descrizione

The inference/distributed directory houses examples on running distributed inference with accelerate:

  • Phi2 for language generation
  • Stable Diffusion for image generation

The strategy followed there is to load an entire model onto each GPU and sending chunks of a batch through each GPU’s model copy at a time. Synthetic data generation has become an essential toolkit for every ML Engineer. So, it'd be beneficial to extend these examples to include some more use cases:

  • Image captioning
  • Speech data generation

Some nice to haves:

  • Include artifact serialization as done in this
  • Keep the artifact serialization code under a thread to not block GPU execution

How can you help?

You could help us contribute an example on any of the above-mentioned use cases or you can come up with your own 🤗 Help us make the art of synthetic data generation scalable, easy, and accessible.

Guida contributor

Direzione di ricerca
Gli esempi esistenti si trovano nella directory `inference/distributed`. Il problema suggerisce di aggiungere esempi per la generazione di didascalie per immagini e dati vocali. Un collaboratore dovrebbe esaminare gli esempi esistenti di Phi2 e Stable Diffusion per comprenderne lo schema, quindi implementare un nuovo esempio seguendo quello schema, includendo opzionalmente la serializzazione degli artefatti come mostrato nel gist collegato.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Basic PyTorchFamiliarity with Accelerate
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60