triton-lang/triton

how to implement backward propagation

Aperta

#1189 aperta il 13 feb 2023

Vedi su GitHubGuida contributor
 (4 commenti) (0 reazioni) (0 assegnatari)MLIR (3136 fork)github user discovery
help wanted

Metriche repository

Star
 (19.995 stelle)
Metriche merge PR
 (Merge medio 2g 18h) (185 PR mergiate in 30 g)

Descrizione

Hi. I am new to triton and cuda. From my understanding, when we implement a customized pytorch operator using cuda, we need to define both forward and backward function, so that the gradients are propagated properly. However, in the triton document (e.g., how to implement vector addition, fused softmax ...), there seems nothing about backward function? Does that mean the backward function is automatically generated by triton? Thx!

Guida contributor

Direzione di ricerca
Leggi la documentazione di Triton sull'autodiff e su come implementare manualmente le funzioni backward. Controlla esempi come fused softmax per i pattern di backward pass.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Meno di 1 ora
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PyTorchCUDA basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
85