Lightning-AI/pytorch-lightning

Redesign dataloader re-instantiation context managers for Lite

Open

#15.179 aperta il 18 ott 2022

Vedi su GitHub
 (10 commenti) (0 reazioni) (1 assegnatario)Python (3233 fork)batch import
discussionfabrichelp wantedpriority: 2refactor

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

Proposed refactor

Redesign the context managers that enable re-instantiations of DataLoader after #14992 deprecates the run method design.

Motivation

We currently have two context managers over the run method:

https://github.com/Lightning-AI/lightning/blob/776432fd7e34cc02e9dbfb16ad8ec8491c176dbf/src/lightning_lite/lite.py#L394-L397

  • _replace_dunder_methods(DataLoader, "dataset")
  • _replace_dunder_methods(BatchSampler)

These get applied for the user if they implement the run method. However, this won't be the case anymore after #14992. We need to find an alternative approach.

Pitch

We probably need to call these methods at the start of the program, for example in LightningLite.__init__. But it is unclear how to undo the patching which is usually done in __exit__. Happy to hear suggestions.

cc @borda @justusschock @awaelchli @tchaton @carmocca @otaj

Guida contributor

Direzione di ricerca
Esamina i due gestori di contesto ` replace dunder methods` in Lite, comprendi come dipendono dal metodo run ed esplora alternative per applicarli all'inizializzazione senza bisogno di uscita. Considera pattern come il monkey patching in ` init ` o l'uso di un meccanismo setup/teardown.
Tech stack
python
Dominio
backenddevtools
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Pythoncontext managers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40