apache/hudi

Incremental Cleaning should not revert to brute force all-partition scanning in any cases

Geschlossen

#14.569 geöffnet am 30.11.2025

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (2.431 Forks)batch import
component:cleaningfrom-jiragood first issuehelp-wantedpriority:hightype:feature

Repository-Metriken

Stars
 (4.823 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 16T 21h) (127 gemergte PRs in 30 T)

Beschreibung

After [https://github.com/apache/incubator-hudi/pull/1576] . Incremental Cleaning would still resort to full partition scan when  no previous clean operation was done in the dataset. This ticket is to design and implement a safe solution which would avoid full scanning in all cases.

JIRA info

Comments

09/Jul/20 13:10;309637554;i am happy to take this issue.;;;

Contributor Guide

Research-Richtung
Studieren Sie die aktuelle Implementierung der inkrementellen Bereinigung und den referenzierten PR #1576. Verstehen Sie, wie die Bereinigung derzeit auf einen vollständigen Partitionsscan zurückfällt, wenn keine vorherige Bereinigung existiert. Entwerfen Sie eine Methode, um den Bereinigungsfortschritt pro Partition zu verfolgen, um vollständige Scans zu vermeiden.
Tech Stack
java
Domain
backenddata
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50