[Spark 4.2 UT][VL] Honor the per-read ignoreMissingFiles option in the native scan (SPARK-55857)
Los mantenedores suelen responder en 3 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
Línea de trabajo
Read GlutenConfig.scala, cpp/velox/utils/ConfigExtractor.cc, SubstraitToVeloxPlan.cc and BasicScanExecTransformer to trace how the session conf reaches Velox, then look at FileSplitReader.cpp in Velox for where the per-table override would go. Re-enable one excluded test in VeloxTestSettings.scala (e.g. GlutenParquetV1QuerySuite) and run it to reproduce the mismatch. Done means the per-read option takes precedence over the session conf in native scans, the error class matches Spark's, and the four excludes are removed — likely requiring upstream Velox changes, so it needs project familiarity.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Part of #13181 (sub-theme #13180). Found while re-enabling the Spark 4.2 UTs disabled in #13163.
Problem
The Velox native scan honors only the session conf spark.sql.files.ignoreMissingFiles. The per-read data source option ignoreMissingFiles (Spark >= 3.4) never reaches native code, so:
| SQLConf | read option | Spark | Gluten (native) |
|---|---|---|---|
| true | (unset) | skips missing file | skips (OK) |
| false | true |
skips missing file | fails (Velox FILE_NOT_FOUND) |
| false | (unset) | FAILED_READ_FILE.FILE_NOT_EXIST |
fails with wrapped Velox error (different error class) |
| true | false |
FAILED_READ_FILE.FILE_NOT_EXIST |
silently skips the missing file (wrong result) |
Disabled tests (VeloxTestSettings.scala, spark42): SPARK-55857: Enabling/disabling ignoreMissingFiles in GlutenOrcV1QuerySuite, GlutenOrcV2QuerySuite, GlutenParquetV1QuerySuite, GlutenParquetV2QuerySuite.
Root cause
- Gluten sends only the session conf:
GlutenConfig.scalaaddsspark.sql.files.ignoreMissingFilesto the native session conf;cpp/velox/utils/ConfigExtractor.ccmaps it toHiveConfig::kIgnoreMissingFilesSession. - Velox reads it only from session properties (
velox/connectors/hive/FileSplitReader.cpp,fileConfig_->ignoreMissingFiles(connectorQueryCtx_->sessionProperties())), so it can't differ per scan. - Spark resolves it per scan via
FileSourceOptions.ignoreMissingFiles(option, falling back to SQLConf) inFileScanRDD(V1) andFilePartitionReader(V2).
Proposed fix
- Velox: let a per-table parameter override the session value in
FileSplitReader(e.g.tableHandle_->tableParameters()["ignore_missing_files"], else the session property). - Gluten: pass
new FileSourceOptions(options).ignoreMissingFilesfromFileSourceScanExecTransformer/BatchScanExecTransformerand set the table parameter inSubstraitToVeloxPlan.cc(HiveTableHandleconstruction). - Map the native missing-file error to Spark's
FAILED_READ_FILE.FILE_NOT_EXIST(or add a Gluten test variant for that assertion only), then remove the 4 excludes.
Interim option (narrow, Gluten-only): fall back to vanilla scan in BasicScanExecTransformer validation when the read option differs from the session conf. This fixes the silent-skip correctness issue without a Velox change.
- Lenguaje dominante
- Scala
- Estrellas
- 1.6k
- Forks
- 685
- Merge medio
- 4 d 16 h
- PR fusionados (30 d)
- 84
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/gluten
-
[CORE] Selecting a cost model the backend has no coster for fails with ClassNotFoundExceptionPosiblemente ocupada @LuciferYang la tomó hace 1 día. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
Los mantenedores suelen responder en 3 días
-
bug unit testing velox backend
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/gluten#13463 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
Los mantenedores suelen responder en 3 días
-
[VL] madvise(WILLNEED) call fails in MmapFileStream because of wrong calculation of fetching lengthQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abiertobug triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 3 días
Todos los issues de apache/gluten
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
rchillyard/TableParser#206 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 2 días
-
? - Needs Triage bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
NVIDIA/cudf-spark#17063 ·
Los mantenedores suelen responder en 2 días
-
bug 🐞 User issue 🚨
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
valkey-io/valkey-glide#7813 · 2 comentarios ·
Los mantenedores suelen responder en 1 día