[Spark 4.2 UT][VL] Honor the per-read ignoreMissingFiles option in the native scan (SPARK-55857)
Maintainer thường phản hồi trong vòng 3 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Read GlutenConfig.scala, cpp/velox/utils/ConfigExtractor.cc, SubstraitToVeloxPlan.cc and BasicScanExecTransformer to trace how the session conf reaches Velox, then look at FileSplitReader.cpp in Velox for where the per-table override would go. Re-enable one excluded test in VeloxTestSettings.scala (e.g. GlutenParquetV1QuerySuite) and run it to reproduce the mismatch. Done means the per-read option takes precedence over the session conf in native scans, the error class matches Spark's, and the four excludes are removed — likely requiring upstream Velox changes, so it needs project familiarity.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Part of #13181 (sub-theme #13180). Found while re-enabling the Spark 4.2 UTs disabled in #13163.
Problem
The Velox native scan honors only the session conf spark.sql.files.ignoreMissingFiles. The per-read data source option ignoreMissingFiles (Spark >= 3.4) never reaches native code, so:
| SQLConf | read option | Spark | Gluten (native) |
|---|---|---|---|
| true | (unset) | skips missing file | skips (OK) |
| false | true |
skips missing file | fails (Velox FILE_NOT_FOUND) |
| false | (unset) | FAILED_READ_FILE.FILE_NOT_EXIST |
fails with wrapped Velox error (different error class) |
| true | false |
FAILED_READ_FILE.FILE_NOT_EXIST |
silently skips the missing file (wrong result) |
Disabled tests (VeloxTestSettings.scala, spark42): SPARK-55857: Enabling/disabling ignoreMissingFiles in GlutenOrcV1QuerySuite, GlutenOrcV2QuerySuite, GlutenParquetV1QuerySuite, GlutenParquetV2QuerySuite.
Root cause
- Gluten sends only the session conf:
GlutenConfig.scalaaddsspark.sql.files.ignoreMissingFilesto the native session conf;cpp/velox/utils/ConfigExtractor.ccmaps it toHiveConfig::kIgnoreMissingFilesSession. - Velox reads it only from session properties (
velox/connectors/hive/FileSplitReader.cpp,fileConfig_->ignoreMissingFiles(connectorQueryCtx_->sessionProperties())), so it can't differ per scan. - Spark resolves it per scan via
FileSourceOptions.ignoreMissingFiles(option, falling back to SQLConf) inFileScanRDD(V1) andFilePartitionReader(V2).
Proposed fix
- Velox: let a per-table parameter override the session value in
FileSplitReader(e.g.tableHandle_->tableParameters()["ignore_missing_files"], else the session property). - Gluten: pass
new FileSourceOptions(options).ignoreMissingFilesfromFileSourceScanExecTransformer/BatchScanExecTransformerand set the table parameter inSubstraitToVeloxPlan.cc(HiveTableHandleconstruction). - Map the native missing-file error to Spark's
FAILED_READ_FILE.FILE_NOT_EXIST(or add a Gluten test variant for that assertion only), then remove the 4 excludes.
Interim option (narrow, Gluten-only): fall back to vanilla scan in BasicScanExecTransformer validation when the read option differs from the session conf. This fixes the silent-skip correctness issue without a Velox change.
- Ngôn ngữ chính
- Scala
- Star
- 1.6k
- Fork
- 685
- Merge trung bình
- 4 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 84
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/gluten
-
[CORE] Selecting a cost model the backend has no coster for fails with ClassNotFoundExceptionCó thể đã có người làm @LuciferYang đã nhận 1 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 3 ngày
-
bug unit testing velox backend
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
apache/gluten#13463 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 3 ngày
-
[VL] madvise(WILLNEED) call fails in MmapFileStream because of wrong calculation of fetching lengthCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mởbug triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 3 ngày
Tất cả issue của apache/gluten
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
rchillyard/TableParser#206 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 2 ngày
-
? - Needs Triage bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
NVIDIA/cudf-spark#17063 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug 🐞 User issue 🚨
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
valkey-io/valkey-glide#7813 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày