apache/hudi

Limit the amount of partitions considered for GlobalBloomIndex

Open

#14 484 ouverte le 30 nov. 2025

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Java (4 823 stars) (2 431 forks)batch import
area:indexfrom-jiragood first issuepriority:hightype:improvement

Description

Currently, global bloom index will check inputs against files in all partitions.. In lot of cases, the user may know a range of partitions actually impacted from updates clearly (e.g upstream system drops updates older than a year, ... ).. In such a scenario,it may make sense to support an option for Global bloom to control how many partitions you want to match against, to gain performance.

JIRA info

Guide contributeur

Stack technique
java
Domaine
backenddataperformance
Type d'issue
feature
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
half day
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
fresh
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
Basic understanding of Hudi's indexingJava programming knowledge
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60
Direction de recherche
Investigate GlobalBloomIndex implementation in the Hudi codebase (e.g., hudi client/hudi client common/src/main/java/org/apache/hudi/index/bloom/). Understand how partitions are currently considered and where a configuration option for limiting partitions could be added. Look for existing configuration parameters for BloomIndex. Discuss in the issue if maintainers have suggestions.