Support Iceberg's `MergeRowsExec` on Spark 3.4 and 3.5
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Área
- data-engineering
Línea de trabajo
Start from the existing Spark 4.0 serde for MergeRowsExec in the Comet Scala sources, then find where Iceberg's Spark 3.4 and 3.5 MergeRowsExec from iceberg-spark-extensions would need a version-specific shim. Read #5122, #5644 and #6240 for how row-level plans fit together. Done means the operator converts natively on Spark 3.4 and 3.5 with matched, not-matched and cardinality-check behaviour preserved.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
What is the problem the feature request solves?
Comet runs MergeRowsExec natively on Spark 4.0 and later. On Spark 3.4 and 3.5, MERGE INTO on Iceberg tables plans Iceberg's own MergeRowsExec from iceberg-spark-extensions, which Comet does not convert. The operators above it, including the copy-on-write ReplaceData write, then stay in Spark.
Describe the potential solution
Add a serde and shim for Iceberg's Spark 3.4 and 3.5 MergeRowsExec that reuses the native merge-rows operator from the Spark 4.0 path. Cover matched and not-matched clauses, conditions on each, and the cardinality check.
Additional context
Related: #5122 (row-level MERGE / UPDATE / DELETE plans). This only pays off fully together with native ReplaceData (#5644) and WriteDelta (#6240).
- Lenguaje dominante
- Scala
- Estrellas
- 1.3k
- Forks
- 414
- Merge medio
- 3 d 5 h
- PR fusionados (30 d)
- 210
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/datafusion-comet
-
requires-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
apache/datafusion-comet#7559 ·
Los mantenedores suelen responder en 2 días
-
requires-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/datafusion-comet#7558 ·
Los mantenedores suelen responder en 2 días
-
enhancement requires-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/datafusion-comet#7557 ·
Los mantenedores suelen responder en 2 días
-
`rand` and `randn` with an integer seed fall back to Spark without a fallback reasonPosiblemente ocupada @galaxytemple la tomó hace 2 días. Abiertorequires-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/datafusion-comet#7479 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 2 días
-
area:writer enhancement requires-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
apache/datafusion-comet#7463 ·
Los mantenedores suelen responder en 2 días
Todos los issues de apache/datafusion-comet
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
chipsalliance/rocket-chip#3845 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 86/100
Los mantenedores suelen responder en 13 días
-
gesticulate: the `FastInfoset` suffix is written `fast-infoset`, not the registered `fastinfoset`Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
propensive/soundness#2437 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
ergoplatform/ergo#2918 ·
Los mantenedores suelen responder en 2 días