delta-io/delta

[Feature Request] Automatically generate partition filters for generated columns using the floor function

Open

#1,444 opened on 2022年10月18日

GitHub で見る
 (1 comment) (1 reaction) (0 assignees)Scala (2,100 forks)batch import
enhancementgood first issue

Repository metrics

Stars
 (8,807 stars)
PR merge metrics
 (平均マージ 7d 1h) (30d で 142 merged PRs)

説明

See #1442

We can automatically generated partition filters when a partition column is generated by the floor function.

i.e. if x < y then floor(x) <= floor(y)

コントリビューターガイド

調査方針
Delta Lakeの既存のパーティションフィルタ生成ロジック、特に生成されたカラムとfloor関数のコンテキストで調査してください。フィルタプッシュダウンが実装されている場所を特定し、x < y ならば floor(x) <= floor(y) であると推論できるように拡張します。SupportedGenerationExpressions.scala に floor の新しいエントリを追加し、PartitionFiltering.scala で対応するフィルタ生成を実装することを検討してください。
技術スタック
scalaspark
領域
backenddatabasedistributed systemsdata engineering
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
4
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
3-5日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
ScalaApache SparkDelta Lake
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
30