apache/hudi

Limit the amount of partitions considered for GlobalBloomIndex

Fechada

#14.484 aberto em 30 de nov. de 2025

Ver no GitHub
 (1 comentário) (0 reação) (0 responsável)Java (2.431 forks)batch import
area:indexfrom-jiragood first issuepriority:hightype:improvement

Métricas do repositório

Stars
 (4.823 estrelas)
Métricas de merge de PR
 (Mesclagem média 16d 21h) (127 fundiu PRs em 30d)

Description

Currently, global bloom index will check inputs against files in all partitions.. In lot of cases, the user may know a range of partitions actually impacted from updates clearly (e.g upstream system drops updates older than a year, ... ).. In such a scenario,it may make sense to support an option for Global bloom to control how many partitions you want to match against, to gain performance.

JIRA info

Guia do colaborador

Direção de pesquisa
Explore como adicionar um parâmetro de configuração para limitar o número de partições consideradas no GlobalBloomIndex. Veja os mecanismos de filtragem de partição existentes no Hudi.
Pilha de tecnologia
java
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Apache HudiBloom filters
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40