InMemorySetState.retract NPEs on an absent secondary-index key in MEMORY-cache lookup join
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 84/100
Direzione di ricerca
Inizia con InMemorySetState.retract e confronta il suo comportamento per le chiavi assenti con quello di LocalKvSetState.retract, quindi traccia le chiamate a partire da SecondaryIndexLookupTable.refreshRow. Riproduci il lookup join della cache MEMORY con una riga filtrata seguita da un retract e considera l’issue completata quando questa sequenza non genera più un NPE e corrisponde al comportamento basato su disco.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Search before asking
- I searched in the issues and found no similar issues.
Paimon version
master (1.5-SNAPSHOT)
Compute Engine
Flink (secondary-index lookup join with lookup.cache = MEMORY).
Minimal reproduce step
- Run a lookup join whose join key is not the table's primary key (a secondary-index lookup), with
lookup.cache = MEMORYand a lookup filter (predicate). - Feed a changelog where a row that does not pass the predicate is later deleted (a
-D/-Ufor that key).
What doesn't meet your expectations?
The lookup refresh crashes with a NullPointerException. SecondaryIndexLookupTable.refreshRow only adds a row to the index state when the predicate passes (on +I / +U), but retracts unconditionally on -D / -U. So a row that was filtered out was never added, and its later retract reaches InMemorySetState.retract, which does values.get(secKey).remove(...) with no null check and throws. The disk-backed sibling LocalKvSetState.retract already treats an absent key as a no-op, so the same join crashes only in MEMORY cache mode.
Anything else?
This is a behavior inconsistency between the two SetState implementations; MEMORY mode should tolerate the absent-key retract like the disk-backed one.
Are you willing to submit a PR?
- I'm willing to submit a PR!
- Lingua principale
- Java
- Stelle
- 3.4k
- Fork
- 1.4k
- Merge medio
- 1g 11h
- PR unite (30g)
- 502
Preparare l'ambiente
Non abbiamo ancora controllato i file di configurazione di questo progetto. Parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/paimon
-
REST Catalog alterTable silently reports success when the server returns a non-table/column 404Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
[Bug] AppendTableITCase.testCompactionInStreamingMode is flaky and can time out under CI loadAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di apache/paimon
Issue simili
-
P2 testing
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
I maintainer di solito rispondono entro 1 giorno
-
area/core kind/bug status/triage team/core-shared
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
checkstyle/checkstyle#21755 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
spring-projects/spring-integration#11495 ·
I maintainer di solito rispondono entro 2 giorni
-
Issue: Bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
OpenAPITools/openapi-generator#25021 ·
I maintainer di solito rispondono entro 1 giorno