apache/hudi

Incremental Cleaning should not revert to brute force all-partition scanning in any cases

Fechada

#14.569 aberto em 30 de nov. de 2025

Ver no GitHub
 (0 comentário) (0 reação) (0 responsável)Java (2.431 forks)batch import
component:cleaningfrom-jiragood first issuehelp-wantedpriority:hightype:feature

Métricas do repositório

Stars
 (4.823 estrelas)
Métricas de merge de PR
 (Mesclagem média 16d 21h) (127 fundiu PRs em 30d)

Description

After [https://github.com/apache/incubator-hudi/pull/1576] . Incremental Cleaning would still resort to full partition scan when  no previous clean operation was done in the dataset. This ticket is to design and implement a safe solution which would avoid full scanning in all cases.

JIRA info

Comments

09/Jul/20 13:10;309637554;i am happy to take this issue.;;;

Guia do colaborador

Direção de pesquisa
Estude a implementação atual de limpeza incremental e o PR #1576 referenciado. Entenda como a limpeza atualmente recorre à varredura completa de partições quando não há limpeza anterior. Projete um método para rastrear o progresso da limpeza por partição para evitar varreduras completas.
Pilha de tecnologia
java
Domain
backenddata
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50