Native approx_top_k functions: audit the frequent-items sketch against Java and implement

Đang mở
  • Có gì không ổn?
#7,400 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
12/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
java, rust, scala, spark
Lĩnh vực
data-engineering

Hướng nghiên cứu

This is an audit-first design task spanning the Rust frequencies feature of the sketch crate and Spark-side serde and expression wiring. Start by scoring the family with suggest-native-expression, then compare sketch bytes against DataSketches-Java 6.2.0 fixtures for each item type Spark accepts. Done means byte parity for every supported item type, opt-in native functions, and SQL file tests that read Spark-produced sketch columns and the reverse.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area:aggregation area:expressions enhancement

What is the problem the feature request solves?

Part of #7397.

Spark 4.1+ provides approx_top_k, approx_top_k_accumulate, approx_top_k_combine and approx_top_k_estimate, built on the DataSketches frequent-items sketch. None of them run natively in Comet. The crate's frequencies feature provides the sketch.

Describe the potential solution

  1. Score the family with suggest-native-expression first.
  2. Audit the crate's frequencies feature against DataSketches-Java 6.2.0 using committed fixtures. The item type matters here more than in the other families: Spark supports several item types, and each has its own item serialization in the sketch bytes, so check each one Spark accepts rather than only strings. Also check tie-breaking and the order of returned items, the error bounds, and how Spark derives the maximum map size from its arguments.
  3. Implement the serde and native functions once the audit shows byte parity for every supported item type, opt-in until then. Fall back for any item type that is not covered.
  4. Add SQL file tests, including a Spark-produced sketch column read by Comet and the reverse.
Ngôn ngữ chính
Scala
Star
1.3k
Fork
414
Merge trung bình
3 ngày 5 giờ
Pull request đã merge (30 ngày)
210

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/datafusion-comet

Tất cả issue của apache/datafusion-comet

Issue tương tự

Thêm issue về Scala

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.