apache/hudi

Incremental Cleaning should not revert to brute force all-partition scanning in any cases

Open

#14.569 geöffnet am 30. Nov. 2025

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (4.823 Stars) (2.431 Forks)batch import
component:cleaningfrom-jiragood first issuehelp-wantedpriority:hightype:feature

Beschreibung

After [https://github.com/apache/incubator-hudi/pull/1576] . Incremental Cleaning would still resort to full partition scan when  no previous clean operation was done in the dataset. This ticket is to design and implement a safe solution which would avoid full scanning in all cases.

JIRA info

Comments

09/Jul/20 13:10;309637554;i am happy to take this issue.;;;

Contributor Guide

Tech Stack
java
Domain
backenddatabaseperformance
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 days
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
fresh
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
Understanding of Hudi's cleaning mechanismJava development experience
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20
Research-Richtung
Review the linked PR #1576 to understand the current incremental cleaning behavior. Investigate the Hudi codebase to identify where full partition scans occur when no previous clean operation exists. Propose a design that safely avoids full scanning in all cases, possibly by maintaining metadata about cleaned partitions. The JIRA ticket HUDI 854 may contain additional requirements.