apache/hudi

Incremental Cleaning should not revert to brute force all-partition scanning in any cases

Fermée

#14 569 ouverte le 30 nov. 2025

Voir sur GitHub
 (0 commentaire) (0 réaction) (0 personne assignée)Java (2 431 forks)batch import
component:cleaningfrom-jiragood first issuehelp-wantedpriority:hightype:feature

Métriques du dépôt

Stars
 (4 823 étoiles)
Métriques de merge PR
 (Merge moyen 16j 21h) (127 PRs mergées en 30 j)

Description

After [https://github.com/apache/incubator-hudi/pull/1576] . Incremental Cleaning would still resort to full partition scan when  no previous clean operation was done in the dataset. This ticket is to design and implement a safe solution which would avoid full scanning in all cases.

JIRA info

Comments

09/Jul/20 13:10;309637554;i am happy to take this issue.;;;

Guide contributeur

Direction de recherche
Étudiez l'implémentation actuelle du nettoyage incrémental et la PR #1576 référencée. Comprenez comment le nettoyage revient actuellement à une analyse complète des partitions lorsqu'aucun nettoyage précédent n'existe. Concevez une méthode pour suivre la progression du nettoyage par partition afin d'éviter les analyses complètes.
Stack technique
java
Domaine
backenddata
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JavaGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50