huggingface/accelerate

[Community Contributions] examples on distributed inference using 🤗 Accelerate

Open

#3 078 ouverte le 4 sept. 2024

Voir sur GitHub
 (4 commentaires) (2 réactions) (0 assignés)Python (626 forks)batch import
contributions-welcomegood first issuewip

Métriques du dépôt

Stars
 (5 805 stars)
Métriques de merge PR
 (Merge moyen 13j 14h) (24 PRs mergées en 30 j)

Description

The inference/distributed directory houses examples on running distributed inference with accelerate:

  • Phi2 for language generation
  • Stable Diffusion for image generation

The strategy followed there is to load an entire model onto each GPU and sending chunks of a batch through each GPU’s model copy at a time. Synthetic data generation has become an essential toolkit for every ML Engineer. So, it'd be beneficial to extend these examples to include some more use cases:

  • Image captioning
  • Speech data generation

Some nice to haves:

  • Include artifact serialization as done in this
  • Keep the artifact serialization code under a thread to not block GPU execution

How can you help?

You could help us contribute an example on any of the above-mentioned use cases or you can come up with your own 🤗 Help us make the art of synthetic data generation scalable, easy, and accessible.

Guide contributeur

Direction de recherche
Les exemples existants se trouvent dans le répertoire `inference/distributed`. L'issue suggère d'ajouter des exemples pour la génération de légendes d'images et de données vocales. Un contributeur doit examiner les exemples existants de Phi2 et Stable Diffusion pour comprendre le modèle, puis implémenter un nouvel exemple en suivant ce modèle, en incluant éventuellement la sérialisation d'artefacts comme indiqué dans le gist lié.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Basic PyTorchFamiliarity with Accelerate
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60