LigerPolyNorm defaults to in_place=True (docstring says False) and overwrites shared gradients
I maintainer di solito rispondono entro 3 giorni
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 72/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Ambito
- backend, machine-learning
Direzione di ricerca
Inizia da src/liger_kernel/transformers/poly_norm.py e src/liger_kernel/ops/poly_norm.py, poi leggi test/transformers/test_poly_norm.py e controlla come copre il comportamento predefinito di in_place. Riproduci i casi del gradiente residuo e del gradiente del chiamante descritti nell’issue, quindi verifica che i gradienti attesi corrispondano al riferimento PyTorch e che il gradiente fornito rimanga invariato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the bug
transformers/poly_norm.py#L20 documents in_place as "(default: False)", but #L24 (and ops/poly_norm.py#L356) use True. With in_place=True, backward stores dX into grad_output (ops/poly_norm.py#L296-L297).
So with default arguments:
- in a residual connection
y = norm(x) + x, autograd passes the same gradient tensor to both branches, and the residual branch receives dX instead of the upstream gradient; y.backward(g)overwrites the caller'sg.
Reproduce
import torch
from liger_kernel.transformers import LigerPolyNorm
dev = "cuda" if torch.cuda.is_available() else "cpu"
def ref(x, w, b, eps=1e-6): # PolyNorm, as in test/transformers/test_poly_norm.py
n = lambda u: u * torch.rsqrt(u.pow(2).mean(-1, keepdim=True) + eps)
return w[0] * n(x ** 3) + w[1] * n(x ** 2) + w[2] * n(x) + b
torch.manual_seed(0)
x = torch.randn(4, 64, device=dev)
g = torch.randn(4, 64, device=dev)
m = LigerPolyNorm().to(dev) # default arguments
print("in_place default:", m.in_place, "(docstring says: default False)")
w, b = m.weight.detach().double(), m.bias.detach().double()
x1 = x.clone().requires_grad_()
(m(x1) + x1).backward(g.clone()) # residual connection
x2 = x.double().requires_grad_()
(ref(x2, w, b) + x2).backward(g.double())
print("y = norm(x) + x: max |x.grad - fp64 reference| =", (x1.grad.double() - x2.grad).abs().max().item())
x3, g3 = x.clone().requires_grad_(), g.clone()
m(x3).backward(g3)
print("y.backward(g): the caller's g changed by", (g3 - g).abs().max().item())
Output:
in_place default: True (docstring says: default False)
y = norm(x) + x: max |x.grad - fp64 reference| = 2.8915757511071902
y.backward(g): the caller's g changed by 2.891575813293457
Expected behavior
x.grad equal to the fp64 PyTorch PolyNorm reference (as in test/transformers/test_poly_norm.py), and g unchanged.
Suggested fix
Use in_place=False as the default (as documented), or detect a shared gradient.
Versions / environment
- Liger-Kernel
83746f4(the lines cited above are unchanged onmainas of 2026-11-17). - torch 2.14.1, triton 3.8.0. Reproduced with Triton's interpreter mode (
TRITON_INTERPRET=1). - The root cause is in host-side Python / integer index arithmetic, so it is the same on CUDA. The script runs on
cudawhen it is available.
- Lingua principale
- Python
- Stelle
- 6.7k
- Fork
- 668
- Merge medio
- 4g 12h
- PR unite (30g)
- 27
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di linkedin/Liger-Kernel
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
linkedin/Liger-Kernel#1658 ·
I maintainer di solito rispondono entro 3 giorni
-
[Bug] Experimental embedding kernels overflow int32 row offsets (illegal memory access past 2^31 output elements)Forse già presa @0xDexe l’ha presa 8 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
linkedin/Liger-Kernel#1570 · 3 commenti ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
linkedin/Liger-Kernel#1661 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100
linkedin/Liger-Kernel#1660 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
linkedin/Liger-Kernel#1659 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di linkedin/Liger-Kernel
Issue simili
-
Internal ErrorApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
frappe/frappe_docker#2071 ·
I maintainer di solito rispondono entro 1 giorno
-
bug python
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
traceloop/openllmetry#4717 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
The-Pocket/PocketFlow#161 ·
-
[Bug]: Webapp workspace fails to render in Safari — "Can't find variable: requestIdleCallback"Apertacomp/desktop P2 type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
NousResearch/hermes-agent#157702 ·
I maintainer di solito rispondono entro 1 giorno
-
scibench_physics / scibench_chemistry: a correct answer scores 0 when the unit has a power of tenForse già presa @BahaaMattar l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
EvolvingLMMs-Lab/lmms-eval#1699 ·
I maintainer di solito rispondono entro 1 giorno