huggingface/accelerate

Barebones dataloader to allow for any type of iterable dataloader-like object to be used. Should just handle device placement

Geschlossen

#2.975 geöffnet am 29.07.2024

Auf GitHub ansehenContributor Guide
 (5 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (626 Forks)batch import
good first issue

Repository-Metriken

Stars
 (5.805 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 16T 17h) (23 gemergte PRs in 30 T)

Beschreibung

Make a simplistic version of the DispatchDataLoader which allows for users to easily pass in any Iterable type of object and call it's __iter__. Likely situation to make sure Accelerator knows what's up during prepare is to add an option to the DataLoaderConfiguration for custom_classes which accepts types for us to do isinstance() on

Contributor Guide

Research-Richtung
Lesen Sie den Quellcode von DispatchDataLoader, um dessen Struktur zu verstehen. Finden Sie, wo DataLoaderConfiguration definiert ist, und ändern Sie es, um custom classes zu akzeptieren. Erstellen Sie eine neue Klasse, die von Iterable erbt und iter implementiert, und verschieben Sie Daten nach Bedarf auf das Gerät. Aktualisieren Sie schließlich Accelerator.prepare, um eine isinstance Prüfung für die neue Klasse einzufügen.
Tech Stack
pythonpytorch
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitPythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75