Native JSON file scan

Đang mở
  • Có gì không ổn?
#7,429 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
8/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
json, rust, scala, spark
Lĩnh vực
data-engineering

Hướng nghiên cứu

Start from the existing JSON handling in the Spark integration: spark.comet.convert.json.enabled and the FileSourceScanExec path for JsonFileFormat and JsonScan, plus the opt-in native from_json code that may share parsing logic. The issue lists the modes and options a native scan must match, but no single file or failing test is named. Done means a native scan that reproduces Spark's JSON results for those options and falls back for the rest, which is design work.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement requires-triage
What is the problem the feature request solves?

JSON sources (FileSourceScanExec with JsonFileFormat, and V2 JsonScan) are read by Spark. spark.comet.convert.json.enabled can convert Spark's rows to Arrow, but parsing still runs on the JVM.

Describe the potential solution

Add a native JSON scan that matches Spark's JSON reader:

  • user-supplied schema
  • PERMISSIVE, DROPMALFORMED and FAILFAST modes, and columnNameOfCorruptRecord
  • timestamp and date formats with the session timezone
  • multi-line JSON and compression codecs
  • fall back for the options it can't match
Additional context

Native from_json already exists (opt-in). It may share parsing code with the scan.

Ngôn ngữ chính
Scala
Star
1.3k
Fork
414
Merge trung bình
3 ngày 5 giờ
Pull request đã merge (30 ngày)
210

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/datafusion-comet

Tất cả issue của apache/datafusion-comet

Issue tương tự

Thêm issue về Scala

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.