delta-io/delta

[Feature Request] Automatically generate partition filters for generated columns using the floor function

Open

#1,444 建立於 2022年10月18日

在 GitHub 查看
 (1 留言) (1 反應) (0 負責人)Scala (2,100 fork)batch import
enhancementgood first issue

倉庫指標

Star
 (8,807 star)
PR 合併指標
 (平均合併 7天 1小時) (30 天內合併 142 個 PR)

描述

See #1442

We can automatically generated partition filters when a partition column is generated by the floor function.

i.e. if x < y then floor(x) <= floor(y)

貢獻者指南

研究方向
檢查 Delta Lake 中現有的分區過濾生成邏輯，特別是在生成列和 floor 函數的上下文中。確定過濾器下推的實現位置，並擴展它以推斷如果 x < y，則 floor(x) <= floor(y)。考慮在 SupportedGenerationExpressions.scala 中為 floor 添加新條目，並在 PartitionFiltering.scala 中實現相應的過濾生成。
技術棧
scalaspark
領域
backenddatabasedistributed systemsdata engineering
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
4
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
3-5 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
ScalaApache SparkDelta Lake
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
30