huggingface/accelerate

[Community Contributions] examples on distributed inference using 🤗 Accelerate

Open

#3.078 aberto em 4 de set. de 2024

Ver no GitHub
 (4 comments) (2 reactions) (0 assignees)Python (626 forks)batch import
contributions-welcomegood first issuewip

Métricas do repositório

Stars
 (5.805 stars)
Métricas de merge de PR
 (Mesclagem média 13d 14h) (24 fundiu PRs em 30d)

Description

The inference/distributed directory houses examples on running distributed inference with accelerate:

  • Phi2 for language generation
  • Stable Diffusion for image generation

The strategy followed there is to load an entire model onto each GPU and sending chunks of a batch through each GPU’s model copy at a time. Synthetic data generation has become an essential toolkit for every ML Engineer. So, it'd be beneficial to extend these examples to include some more use cases:

  • Image captioning
  • Speech data generation

Some nice to haves:

  • Include artifact serialization as done in this
  • Keep the artifact serialization code under a thread to not block GPU execution

How can you help?

You could help us contribute an example on any of the above-mentioned use cases or you can come up with your own 🤗 Help us make the art of synthetic data generation scalable, easy, and accessible.

Guia do colaborador

Direção de pesquisa
Os exemplos existentes estão no diretório `inference/distributed`. A issue sugere adicionar exemplos para geração de legendas de imagem e dados de fala. Um contribuidor deve examinar os exemplos existentes de Phi2 e Stable Diffusion para entender o padrão, e então implementar um novo exemplo seguindo esse padrão, opcionalmente incluindo a serialização de artefatos conforme mostrado no gist vinculado.
Pilha de tecnologia
pythonpytorch
Domain
machine learningai
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Basic PyTorchFamiliarity with Accelerate
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60