apache/hudi

Limit the amount of partitions considered for GlobalBloomIndex

Open

#14.484 geöffnet am 30. Nov. 2025

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (4.823 Stars) (2.431 Forks)batch import
area:indexfrom-jiragood first issuepriority:hightype:improvement

Beschreibung

Currently, global bloom index will check inputs against files in all partitions.. In lot of cases, the user may know a range of partitions actually impacted from updates clearly (e.g upstream system drops updates older than a year, ... ).. In such a scenario,it may make sense to support an option for Global bloom to control how many partitions you want to match against, to gain performance.

JIRA info

Contributor Guide

Tech Stack
java
Domain
backenddataperformance
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
half day
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
fresh
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
Basic understanding of Hudi's indexingJava programming knowledge
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60
Research-Richtung
Investigate GlobalBloomIndex implementation in the Hudi codebase (e.g., hudi client/hudi client common/src/main/java/org/apache/hudi/index/bloom/). Understand how partitions are currently considered and where a configuration option for limiting partitions could be added. Look for existing configuration parameters for BloomIndex. Discuss in the issue if maintainers have suggestions.