huggingface/accelerate

Barebones dataloader to allow for any type of iterable dataloader-like object to be used. Should just handle device placement

Chiusa

#2975 aperta il 29 lug 2024

Vedi su GitHubGuida contributor
 (5 commenti) (0 reazioni) (0 assegnatari)Python (626 fork)batch import
good first issue

Metriche repository

Star
 (5805 stelle)
Metriche merge PR
 (Merge medio 16g 17h) (23 PR mergiate in 30 g)

Descrizione

Make a simplistic version of the DispatchDataLoader which allows for users to easily pass in any Iterable type of object and call it's __iter__. Likely situation to make sure Accelerator knows what's up during prepare is to add an option to the DataLoaderConfiguration for custom_classes which accepts types for us to do isinstance() on

Guida contributor

Direzione di ricerca
Leggi il codice sorgente di DispatchDataLoader per comprenderne la struttura. Identifica dove è definito DataLoaderConfiguration e modificalo per accettare custom classes. Crea una nuova classe che eredita da Iterable e implementa iter , spostando i dati sul dispositivo secondo necessità. Infine, aggiorna Accelerator.prepare per includere un controllo isinstance per la nuova classe.
Tech stack
pythonpytorch
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75