pytorch/xla

torch_xla scan forces inputs to be differentiable

Open

#8783 aperta il 4 mar 2025

Vedi su GitHub
 (1 commento) (0 reazioni) (1 assegnatario)C++ (575 fork)github user discovery
buggood first issue

Metriche repository

Star
 (2786 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

The snippet https://github.com/pytorch/xla/blob/00fac787e986a51e1d5d8b74603867cea4086477/torch_xla/experimental/scan.py#L217-L226 is probably wrong. It adds require_grads=True on all carry inputs and that won't work if one of the carry is a LongTensor.

The most obvious example is that if one of the input is an integer, then it can't possibly have gradients.

Guida contributor

Direzione di ricerca
Esamina l'implementazione di scan in torch xla/experimental/scan.py intorno alle righe 217-226. Comprendi perché require grads=True viene applicato a tutti gli input di carry e determina come impostarlo condizionalmente solo per i tensori che supportano gradienti (ad esempio, non LongTensor). Considera l'uso di torch.is floating point o il controllo del dtype.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchautograd basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65