apache/hudi

Incremental Cleaning should not revert to brute force all-partition scanning in any cases

Chiusa

#14.569 aperta il 30 nov 2025

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (2431 fork)batch import
component:cleaningfrom-jiragood first issuehelp-wantedpriority:hightype:feature

Metriche repository

Star
 (4823 stelle)
Metriche merge PR
 (Merge medio 16g 21h) (127 PR mergiate in 30 g)

Descrizione

After [https://github.com/apache/incubator-hudi/pull/1576] . Incremental Cleaning would still resort to full partition scan when  no previous clean operation was done in the dataset. This ticket is to design and implement a safe solution which would avoid full scanning in all cases.

JIRA info

Comments

09/Jul/20 13:10;309637554;i am happy to take this issue.;;;

Guida contributor

Direzione di ricerca
Studia l'attuale implementazione della pulizia incrementale e la PR #1576 di riferimento. Comprendi come la pulizia attualmente torna alla scansione completa delle partizioni quando non esiste una pulizia precedente. Progetta un metodo per tracciare l'avanzamento della pulizia per partizione per evitare scansioni complete.
Tech stack
java
Dominio
backenddata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50