huggingface/accelerate

[Community Contributions] examples on distributed inference using 🤗 Accelerate

Offen

#3.078 geöffnet am 04.09.2024

Auf GitHub ansehenContributor Guide
 (7 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Python (626 Forks)batch import
contributions-welcomegood first issuewip

Repository-Metriken

Stars
 (5.805 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 16T 17h) (23 gemergte PRs in 30 T)

Beschreibung

The inference/distributed directory houses examples on running distributed inference with accelerate:

  • Phi2 for language generation
  • Stable Diffusion for image generation

The strategy followed there is to load an entire model onto each GPU and sending chunks of a batch through each GPU’s model copy at a time. Synthetic data generation has become an essential toolkit for every ML Engineer. So, it'd be beneficial to extend these examples to include some more use cases:

  • Image captioning
  • Speech data generation

Some nice to haves:

  • Include artifact serialization as done in this
  • Keep the artifact serialization code under a thread to not block GPU execution

How can you help?

You could help us contribute an example on any of the above-mentioned use cases or you can come up with your own 🤗 Help us make the art of synthetic data generation scalable, easy, and accessible.

Contributor Guide

Research-Richtung
Studieren Sie die vorhandenen Beispiele für verteilte Inferenz im Verzeichnis `examples/inference/distributed`. Verstehen Sie, wie ein Modell auf jede GPU geladen und Batches verarbeitet werden. Wählen Sie ein Modell für Bildunterschriften (z. B. BLIP) oder Sprachgenerierung (z. B. Whisper) und passen Sie das Muster an. Optional können Sie die Artefaktserialisierung mit Threads hinzufügen, um die GPU Ausführung nicht zu blockieren.
Tech Stack
pythonpytorch
Domain
machine learningbackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchHugging Face Accelerate
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65