[Spark 4.2 UT][VL] Honor the per-read ignoreMissingFiles option in the native scan (SPARK-55857)

Đang mở
#13,433 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp, scala
Lĩnh vực
backend

Hướng nghiên cứu

Read GlutenConfig.scala, cpp/velox/utils/ConfigExtractor.cc, SubstraitToVeloxPlan.cc and BasicScanExecTransformer to trace how the session conf reaches Velox, then look at FileSplitReader.cpp in Velox for where the per-table override would go. Re-enable one excluded test in VeloxTestSettings.scala (e.g. GlutenParquetV1QuerySuite) and run it to reproduce the mismatch. Done means the per-read option takes precedence over the session conf in native scans, the error class matches Spark's, and the four excludes are removed — likely requiring upstream Velox changes, so it needs project familiarity.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Part of #13181 (sub-theme #13180). Found while re-enabling the Spark 4.2 UTs disabled in #13163.

Problem

The Velox native scan honors only the session conf spark.sql.files.ignoreMissingFiles. The per-read data source option ignoreMissingFiles (Spark >= 3.4) never reaches native code, so:

SQLConf read option Spark Gluten (native)
true (unset) skips missing file skips (OK)
false true skips missing file fails (Velox FILE_NOT_FOUND)
false (unset) FAILED_READ_FILE.FILE_NOT_EXIST fails with wrapped Velox error (different error class)
true false FAILED_READ_FILE.FILE_NOT_EXIST silently skips the missing file (wrong result)

Disabled tests (VeloxTestSettings.scala, spark42): SPARK-55857: Enabling/disabling ignoreMissingFiles in GlutenOrcV1QuerySuite, GlutenOrcV2QuerySuite, GlutenParquetV1QuerySuite, GlutenParquetV2QuerySuite.

Root cause
  • Gluten sends only the session conf: GlutenConfig.scala adds spark.sql.files.ignoreMissingFiles to the native session conf; cpp/velox/utils/ConfigExtractor.cc maps it to HiveConfig::kIgnoreMissingFilesSession.
  • Velox reads it only from session properties (velox/connectors/hive/FileSplitReader.cpp, fileConfig_->ignoreMissingFiles(connectorQueryCtx_->sessionProperties())), so it can't differ per scan.
  • Spark resolves it per scan via FileSourceOptions.ignoreMissingFiles (option, falling back to SQLConf) in FileScanRDD (V1) and FilePartitionReader (V2).
Proposed fix
  1. Velox: let a per-table parameter override the session value in FileSplitReader (e.g. tableHandle_->tableParameters()["ignore_missing_files"], else the session property).
  2. Gluten: pass new FileSourceOptions(options).ignoreMissingFiles from FileSourceScanExecTransformer / BatchScanExecTransformer and set the table parameter in SubstraitToVeloxPlan.cc (HiveTableHandle construction).
  3. Map the native missing-file error to Spark's FAILED_READ_FILE.FILE_NOT_EXIST (or add a Gluten test variant for that assertion only), then remove the 4 excludes.

Interim option (narrow, Gluten-only): fall back to vanilla scan in BasicScanExecTransformer validation when the read option differs from the session conf. This fixes the silent-skip correctness issue without a Velox change.

Ngôn ngữ chính
Scala
Star
1.6k
Fork
685
Merge trung bình
4 ngày 16 giờ
Pull request đã merge (30 ngày)
84

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/gluten

Tất cả issue của apache/gluten

Issue tương tự

Thêm issue về Scala

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.