CometTaskMemoryManager.releaseMemory lowers used before Spark accepts the release
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 82/100
Direzione di ricerca
L’issue indica spark/src/main/java/org/apache/spark/CometTaskMemoryManager.java, in particolare releaseMemory, e propone un test che sovrascriva TaskMemoryManager.releaseExecutionMemory. Leggi quel metodo e i test esistenti, poi esegui la suite di test pertinente. Il lavoro è completato quando un rilascio Spark che genera un’eccezione lascia getUsed invariato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
releaseMemory runs used.addAndGet(-size) (CometTaskMemoryManager.java#L123) before internal.releaseExecutionMemory(size, nativeMemoryConsumer) (L131). If Spark throws, native code gets the error and still counts the bytes as held, but used, and with it NativeMemoryConsumer.getUsed, has already dropped. The leak check at task end and Spark's spill ordering then see less than the task holds.
Calling Spark first fixes it. A test can override TaskMemoryManager.releaseExecutionMemory to throw once and check that getUsed is unchanged afterwards.
Found in #5613 (review).
- Lingua principale
- Scala
- Stelle
- 1.3k
- Fork
- 398
- Merge medio
- 2g 21h
- PR unite (30g)
- 431
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/datafusion-comet
-
enhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 83/100
apache/datafusion-comet#7101 ·
I maintainer di solito rispondono entro 1 giorno
-
Native hashing of NullType and ANSI interval values fails with "Unsupported data type in hasher"Forse già presa @ump45nose l’ha presa 7 giorni fa. Apertaarea:expressions area:shuffle bug priority:high
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
apache/datafusion-comet#7063 ·
I maintainer di solito rispondono entro 1 giorno
-
requires-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
apache/datafusion-comet#7001 ·
I maintainer di solito rispondono entro 1 giorno
-
Deduplicate spark_ceil and spark_floor and port floor's decimal boundary tests to ceilForse di nuovo libera @med9110 l’ha presa 9 giorni fa e non c’è nessuna pull request aperta. Apertaarea:expressions enhancement help wanted requires-triage rust tech debt
Difficoltà 2/5 Mezza giornata Idoneità per principianti 68/100
apache/datafusion-comet#6974 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Iceberg data tables whose names end with a metadata-table name fall back to SparkForse di nuovo libera @aryan9948 l’ha presa 17 giorni fa e non c’è nessuna pull request aperta. Apertarequires-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
apache/datafusion-comet#6719 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di apache/datafusion-comet
Issue simili
-
PlatformSpecific.hasGreenThreads incorrectly returns false for JDK updates and non-GA versionsAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
apache/pekko-persistence-jdbc#646 ·
I maintainer di solito rispondono entro 1 giorno
-
kind:bug state:needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
OpenLineage/OpenLineage#5100 · 1 commento ·
I maintainer di solito rispondono entro 4 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
http4s/http4s#8015 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
testcontainers/testcontainers-scala#623 ·
I maintainer di solito rispondono entro 1 giorno