apache/hudi

Incremental Cleaning should not revert to brute force all-partition scanning in any cases

Open

#14.569 aberto em 30 de nov. de 2025

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Java (4.823 stars) (2.431 forks)batch import
component:cleaningfrom-jiragood first issuehelp-wantedpriority:hightype:feature

Description

After [https://github.com/apache/incubator-hudi/pull/1576] . Incremental Cleaning would still resort to full partition scan when  no previous clean operation was done in the dataset. This ticket is to design and implement a safe solution which would avoid full scanning in all cases.

JIRA info

Comments

09/Jul/20 13:10;309637554;i am happy to take this issue.;;;

Guia do colaborador

Pilha de tecnologia
java
Domain
backenddatabaseperformance
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 days
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
fresh
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
mostly clear
Prerequisites
Understanding of Hudi's cleaning mechanismJava development experience
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20
Direção de pesquisa
Review the linked PR #1576 to understand the current incremental cleaning behavior. Investigate the Hudi codebase to identify where full partition scans occur when no previous clean operation exists. Propose a design that safely avoids full scanning in all cases, possibly by maintaining metadata about cleaned partitions. The JIRA ticket HUDI 854 may contain additional requirements.