apache/hudi

Incremental Cleaning should not revert to brute force all-partition scanning in any cases

Open

#14,569 opened on 2025年11月30日

GitHub で見る
 (0 comments) (0 reactions) (0 assignees)Java (4,823 stars) (2,431 forks)batch import
component:cleaningfrom-jiragood first issuehelp-wantedpriority:hightype:feature

説明

After [https://github.com/apache/incubator-hudi/pull/1576] . Incremental Cleaning would still resort to full partition scan when  no previous clean operation was done in the dataset. This ticket is to design and implement a safe solution which would avoid full scanning in all cases.

JIRA info

Comments

09/Jul/20 13:10;309637554;i am happy to take this issue.;;;

コントリビューターガイド

技術スタック
java
領域
backenddatabaseperformance
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
4
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
3-5 days
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
fresh
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
mostly clear
前提条件
Understanding of Hudi's cleaning mechanismJava development experience
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
20
調査方針
Review the linked PR #1576 to understand the current incremental cleaning behavior. Investigate the Hudi codebase to identify where full partition scans occur when no previous clean operation exists. Propose a design that safely avoids full scanning in all cases, possibly by maintaining metadata about cleaned partitions. The JIRA ticket HUDI 854 may contain additional requirements.