apache/hudi

Limit the amount of partitions considered for GlobalBloomIndex

Chiusa

#14.484 aperta il 30 nov 2025

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Java (2431 fork)batch import
area:indexfrom-jiragood first issuepriority:hightype:improvement

Metriche repository

Star
 (4823 stelle)
Metriche merge PR
 (Merge medio 16g 21h) (127 PR mergiate in 30 g)

Descrizione

Currently, global bloom index will check inputs against files in all partitions.. In lot of cases, the user may know a range of partitions actually impacted from updates clearly (e.g upstream system drops updates older than a year, ... ).. In such a scenario,it may make sense to support an option for Global bloom to control how many partitions you want to match against, to gain performance.

JIRA info

Guida contributor

Direzione di ricerca
Esplora come aggiungere un parametro di configurazione per limitare il numero di partizioni considerate in GlobalBloomIndex. Esamina i meccanismi di filtraggio delle partizioni esistenti in Hudi.
Tech stack
java
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Apache HudiBloom filters
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40