huggingface/accelerate

[Community Contributions] examples on distributed inference using đŸ€— Accelerate

Open

#3.078 geöffnet am 4. Sept. 2024

Auf GitHub ansehen
 (4 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Python (626 Forks)batch import
contributions-welcomegood first issuewip

Repository-Metriken

Stars
 (5.805 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 13T 14h) (24 gemergte PRs in 30 T)

Beschreibung

The inference/distributed directory houses examples on running distributed inference with accelerate:

  • Phi2 for language generation
  • Stable Diffusion for image generation

The strategy followed there is to load an entire model onto each GPU and sending chunks of a batch through each GPU’s model copy at a time. Synthetic data generation has become an essential toolkit for every ML Engineer. So, it'd be beneficial to extend these examples to include some more use cases:

  • Image captioning
  • Speech data generation

Some nice to haves:

  • Include artifact serialization as done in this
  • Keep the artifact serialization code under a thread to not block GPU execution

How can you help?

You could help us contribute an example on any of the above-mentioned use cases or you can come up with your own đŸ€— Help us make the art of synthetic data generation scalable, easy, and accessible.

Contributor Guide

Research-Richtung
Die vorhandenen Beispiele befinden sich im Verzeichnis `inference/distributed`. Das Issue schlĂ€gt vor, Beispiele fĂŒr Bildbeschriftung und Sprachdatengenerierung hinzuzufĂŒgen. Ein Mitwirkender sollte sich die vorhandenen Phi2 und Stable Diffusion Beispiele ansehen, um das Muster zu verstehen, und dann ein neues Beispiel nach diesem Muster implementieren, optional einschließlich der Artefaktserialisierung, wie im verlinkten Gist gezeigt.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschĂ€tzte Implementierungsschwierigkeit fĂŒr neue Contributors, von 1 fĂŒr sehr kleine Änderungen bis 5 fĂŒr Expertenarbeit.
3
GeschÀtzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitĂ€tsstatusWie verfĂŒgbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nĂ€chsten Schritt erklĂ€rt.
Klar
Voraussetzungen
Basic PyTorchFamiliarity with Accelerate
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schĂ€tzt, wie zugĂ€nglich dieses Issue fĂŒr First-Time Contributors ist.
60