TaskResources release loop aborts on the first failing release, leaking the rest
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 58/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- scala
- Ambito
- backend, data-engineering
Direzione di ricerca
Start at TaskResourceRegistry.releaseAll and trace the completion listener that calls RESOURCE_REGISTRIES.remove(context). Inspect how priorityToResourcesMapping, resources, ColumnarBatch release(), jniWrapper.stop, and Runtime cleanup behave when release() throws. Done means every resource is attempted, registry state is cleared, and cleanup continues after an exception without leaking lower-priority resources.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
TaskResourceRegistry.releaseAll releases task resources highest-priority first (100 → 50 → 30), in reverse registration order. If one resource's release() throws, the foreach aborts: every remaining lower-priority resource is skipped, and priorityToResourcesMapping / resources are never cleared. The completion listener also then skips RESOURCE_REGISTRIES.remove(context).
A throwing release() is reachable on task failure/teardown. Priority-100 recyclers close native ColumnarBatch payloads and priority-50 shuffle readers call jniWrapper.stop, both of which surface JNI errors as exceptions. When one of those throws, the priority-30 Runtime (which owns the native memory manager and native threads) never releases, so its off-heap memory leaks. Across repeatedly-failing tasks on a long-lived executor this compounds into an OOM or container kill.
- Lingua principale
- Scala
- Stelle
- 1.6k
- Fork
- 685
- Merge medio
- 4g 16h
- PR unite (30g)
- 84
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/gluten
-
[CORE] Selecting a cost model the backend has no coster for fails with ClassNotFoundExceptionForse già presa @LuciferYang l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 3 giorni
-
bug unit testing velox backend
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
apache/gluten#13463 · 1 commento ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
I maintainer di solito rispondono entro 3 giorni
-
[VL] madvise(WILLNEED) call fails in MmapFileStream because of wrong calculation of fetching lengthForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertabug triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di apache/gluten
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
rchillyard/TableParser#206 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 2 giorni
-
? - Needs Triage bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
NVIDIA/cudf-spark#17063 ·
I maintainer di solito rispondono entro 2 giorni
-
bug 🐞 User issue 🚨
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
valkey-io/valkey-glide#7813 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno