[SPARK-57743][SQL] Addition of a partition function in datalake V1 tables
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Không có tệp hoặc bài kiểm thử nào được nêu tên. Hãy bắt đầu bằng cách lần theo entry point của SHOW PARTITIONS và đường dẫn metadata phân vùng của các bảng V1, sau đó làm rõ partition function nên hoạt động như thế nào trong một subquery. Hoàn tất có nghĩa là hỗ trợ các truy vấn phân vùng mới nhất trên các bảng AWS Glue Data Catalog mà không đọc dữ liệu bên dưới.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Why this Issue is created?
In my work I've had requirements to create SQLs that run against AWS Glue Data Catalog Tables where they need to get data from the latest partition only.
Something like :-
SELECT * FROM db.table WHERE partition_col = (SELECT max(partition_col) FROM db.table)
But the issue with above approach is I've seen that pushdown predicate doesn't always read the metadata only and reads the data itself which shouldn't happen.
In Athena, to solve this the query can be written as :-
SELECT * FROM db.table WHERE partition_col = (SELECT max(partition_col) FROM "db"."table$partitions")
But there isn't a similar approach in Spark for V1 tables and the only way is using SHOW PARTITIONS but it doesn't work as a subquery.
Issue: https://issues.apache.org/jira/browse/SPARK-57743
- Ngôn ngữ chính
- Scala
- Star
- 44.2k
- Fork
- 29.5k
- Merge trung bình
- 8 giờ 43 phút
- Pull request đã merge (30 ngày)
- 1
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/spark
-
[BUILD] Bump Ivy up to 2.6.0Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
Maintainer thường phản hồi trong vòng 2 ngày
-
[SQL][CONNECT] SparkConnectClient may drop metadata (auth headers) on retried/reattached RPCs if metadata is a non-list iterableCó thể đã có người làm @zainmirzaaa đã nhận 63 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 2 ngày
-
[CORE] bug report: collision of resource profile idCó thể đã có người làm @ybapat đã nhận 88 ngày trước. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
apache/spark#57498 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
[BUILD] Drop oro dependencyĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
apache/spark#57209 · 7 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Merge spark PR script hard blocks on JIRACó thể đã có người làm @holdenk đã nhận 1 ngày trước. Đang mở
apache/spark#59693 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 2 ngày
Issue tương tự
-
enhancement good first issue help wanted
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
spotify/scio#6018 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
scylladb/scylla-migrator#417 ·
-
[Docs] Document `spark.databricks.delta.optimize.maxThreads` in Compaction (bin-packing) sectionCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởdelta-docs delta-table-maintenance documentation
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
software-mansion/starknet-jvm#641 ·