huggingface/accelerate

Barebones dataloader to allow for any type of iterable dataloader-like object to be used. Should just handle device placement

Fechada

#2.975 aberto em 29 de jul. de 2024

Ver no GitHubGuia do colaborador
 (5 comentários) (0 reação) (0 responsável)Python (626 forks)batch import
good first issue

Métricas do repositório

Stars
 (5.805 estrelas)
Métricas de merge de PR
 (Mesclagem média 16d 17h) (23 fundiu PRs em 30d)

Description

Make a simplistic version of the DispatchDataLoader which allows for users to easily pass in any Iterable type of object and call it's __iter__. Likely situation to make sure Accelerator knows what's up during prepare is to add an option to the DataLoaderConfiguration for custom_classes which accepts types for us to do isinstance() on

Guia do colaborador

Direção de pesquisa
Leia o código fonte do DispatchDataLoader para entender sua estrutura. Identifique onde DataLoaderConfiguration está definido e modifique o para aceitar custom classes. Crie uma nova classe que herda de Iterable e implementa iter , movendo os dados para o dispositivo conforme necessário. Por fim, atualize Accelerator.prepare para incluir uma verificação isinstance para a nova classe.
Pilha de tecnologia
pythonpytorch
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitPythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75