[VL] A broadcast anti join drops build rows that its filter can still match through coalesce or nvl
I maintainer di solito rispondono entro 3 giorni
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 32/100
Direzione di ricerca
Start at SparkShims.isNullIntolerant(condition), which only inspects the root of the join filter; compare that decision with the native hash-table build path that drops null build rows. Use the issue's probe/build SQL to reproduce, then check both coalesce and nvl variants against Spark. Done when the broadcast anti join returns only (2, 1) with default config, and the driver-side build path agrees. Note linked PR #13712 is already open.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
For a broadcast anti join with a filter, the native hash table build leaves out the build rows that are null in any build column the filter references, when it is told the filter is null-intolerant. Gluten decides that with SparkShims.isNullIntolerant(condition), which only checks the root of the condition. A filter like p.x > coalesce(b.y, 0) has a null-intolerant root (GreaterThan), so the rows with a null y are dropped, although coalesce(null, 0) is 0 and they can match.
With the default configuration:
-- probe(k, x) = (1, 5), (2, 1)
-- build(k, y) = (1, null), (2, 3)
SELECT * FROM probe WHERE NOT EXISTS
(SELECT 1 FROM build WHERE probe.k = build.k AND probe.x > coalesce(build.y, 0))
Spark returns (2, 1). Gluten returns (1, 5) and (2, 1). nvl, LEFT ANTI JOIN and the driver-side hash table build behave the same. It reproduces on v1.8.0-rc1.
This issue was written with the assistance of AI (Claude Opus).
- Lingua principale
- Scala
- Stelle
- 1.6k
- Fork
- 685
- Merge medio
- 4g 16h
- PR unite (30g)
- 84
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/gluten
-
[CORE] Selecting a cost model the backend has no coster for fails with ClassNotFoundExceptionForse già presa @LuciferYang l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 3 giorni
-
bug unit testing velox backend
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
apache/gluten#13463 · 1 commento ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
I maintainer di solito rispondono entro 3 giorni
-
[VL] madvise(WILLNEED) call fails in MmapFileStream because of wrong calculation of fetching lengthForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertabug triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di apache/gluten
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
rchillyard/TableParser#206 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 2 giorni
-
? - Needs Triage bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
NVIDIA/cudf-spark#17063 ·
I maintainer di solito rispondono entro 2 giorni
-
bug 🐞 User issue 🚨
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
valkey-io/valkey-glide#7813 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno