apache/hudi

Limit the amount of partitions considered for GlobalBloomIndex

Fermée

#14 484 ouverte le 30 nov. 2025

Voir sur GitHub
 (1 commentaire) (0 réaction) (0 personne assignée)Java (2 431 forks)batch import
area:indexfrom-jiragood first issuepriority:hightype:improvement

Métriques du dépôt

Stars
 (4 823 étoiles)
Métriques de merge PR
 (Merge moyen 16j 21h) (127 PRs mergées en 30 j)

Description

Currently, global bloom index will check inputs against files in all partitions.. In lot of cases, the user may know a range of partitions actually impacted from updates clearly (e.g upstream system drops updates older than a year, ... ).. In such a scenario,it may make sense to support an option for Global bloom to control how many partitions you want to match against, to gain performance.

JIRA info

Guide contributeur

Direction de recherche
Explorez comment ajouter un paramètre de configuration pour limiter le nombre de partitions prises en compte dans GlobalBloomIndex. Examinez les mécanismes de filtrage de partitions existants dans Hudi.
Stack technique
java
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Apache HudiBloom filters
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40