Lightning-AI/lightning-thunder

Make autocast a Transform

Aperta

#1122 aperta il 7 set 2024

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (114 fork)github user discovery
enhancementgood first issue

Metriche repository

Star
 (1460 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Currently autocast (transforms/autocast.py) is carried over from the old-style transforms on callable and invoked like

jit(autocast(fn))

it would be good to make this a AutocastTransform to be invoked as

jit(fn, transforms=[Autocast()])

for better composability.

This should be vaguely doable with the transforms e.g. as explained in Thunder Sessions Episode 7 plus the bsym mapping provided by the existing mechanism, so it might be a good first or second issue.

Guida contributor

Direzione di ricerca
Studia la funzione autocast esistente e la gerarchia di classi Transform in lightning thunder, quindi implementa AutocastTransform seguendo il modello mostrato in Thunder Sessions Episodio 7.
Tech stack
python
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75