huggingface/accelerate

Barebones dataloader to allow for any type of iterable dataloader-like object to be used. Should just handle device placement

Fermée

#2 975 ouverte le 29 juil. 2024

Voir sur GitHubGuide contributeur
 (5 commentaires) (0 réaction) (0 personne assignée)Python (626 forks)batch import
good first issue

Métriques du dépôt

Stars
 (5 805 étoiles)
Métriques de merge PR
 (Merge moyen 16j 17h) (23 PRs mergées en 30 j)

Description

Make a simplistic version of the DispatchDataLoader which allows for users to easily pass in any Iterable type of object and call it's __iter__. Likely situation to make sure Accelerator knows what's up during prepare is to add an option to the DataLoaderConfiguration for custom_classes which accepts types for us to do isinstance() on

Guide contributeur

Direction de recherche
Lisez le code source de DispatchDataLoader pour comprendre sa structure. Identifiez où DataLoaderConfiguration est defini et modifiez le pour accepter custom classes. Creez une nouvelle classe qui herite de Iterable et implemente iter , en deplacant les donnees sur l'appareil selon les besoins. Enfin, mettez a jour Accelerator.prepare pour inclure une verification isinstance pour la nouvelle classe.
Stack technique
pythonpytorch
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitPythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75