[VL] Flaky tests on arrow types

Abierto
#13,394 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 3 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
42/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
scala, spark
Área
backend, testing

Línea de trabajo

Start with the linked GitHub Actions run and inspect the failing Query q17 job output. Trace the initialization failure from SparkArrowUtil.scala:166, where Arrow Schema is converted, and check whether the Arrow type tests reproduce it. Done means the flaky failure is understood and the relevant test passes reliably.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

https://github.com/apache/gluten/actions/runs/39431617373/job/118669167331?pr=13376

Query q17 failed by error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 12 in stage 86.0 failed 1 times, most recent failure: Lost task 12.0 in stage 86.0 (TID 813) (20a54f505fa9 executor driver): java.lang.NoClassDefFoundError: Could not initialize class org.apache.arrow.vector.types.pojo.Schema
    	at org.apache.spark.sql.utils.SparkArrowUtil$.toArrowSchema(SparkArrowUtil.scala:166)
    	at org.apache.spark.sql.execution.ColumnarBuildSideRelation.buildHashTable(ColumnarBuildSideRelation.scala:189)
    	at org.apache.gluten.execution.VeloxBroadcastBuildSideCache$.$anonfun$getOrBuildBroadcastHashTable$1(VeloxBroadcastBuildSideCache.scala:96)
    	at com.github.benmanes.caffeine.cache.BoundedLocalCache.lambda$doComputeIfAbsent$14(BoundedLocalCache.java:2406)
    	at java.util.concurrent.ConcurrentHashMap.compute(ConcurrentHashMap.java:1853)
    	at com.github.benmanes.caffeine.cache.BoundedLocalCache.doComputeIfAbsent(BoundedLocalCache.java:2404)
    	at com.github.benmanes.caffeine.cache.BoundedLocalCache.computeIfAbsent(BoundedLocalCache.java:2387)
    	at com.github.benmanes.caffeine.cache.LocalCache.computeIfAbsent(LocalCache.java:108)
    	at com.github.benmanes.caffeine.cache.LocalManualCache.get(LocalManualCache.java:62)
    	at org.apache.gluten.execution.VeloxBroadcastBuildSideCache$.getOrBuildBroadcastHashTable(VeloxBroadcastBuildSideCache.scala:93)
    	at org.apache.gluten.execution.VeloxBroadcastBuildSideRDD.genBroadcastBuildSideIterator(VeloxBroadcastBuildSideRDD.scala:66)
    	at org.apache.gluten.execution.ColumnarInputRDDsWrapper.$anonfun$getIterators$1(WholeStageTransformer.scala:508)
    	at scala.collection.immutable.List.flatMap(List.scala:366)
    	at org.apache.gluten.execution.ColumnarInputRDDsWrapper.getIterators(WholeStageTransformer.scala:506)
    	at org.apache.gluten.execution.GlutenWholeStageColumnarRDD.$anonfun$compute$1(GlutenWholeStageColumnarRDD.scala:77)
    	at org.apache.gluten.utils.Arm$.withResource(Arm.scala:25)
    	at org.apache.gluten.metrics.GlutenTimeMetric$.millis(GlutenTimeMetric.scala:37)
    	at org.apache.gluten.execution.GlutenWholeStageColumnarRDD.compute(GlutenWholeStageColumnarRDD.scala:69)
Lenguaje dominante
Scala
Estrellas
1.6k
Forks
685
Merge medio
4 d 16 h
PR fusionados (30 d)
84

Preparar el entorno

Abrir en Codespaces

Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de apache/gluten

Todos los issues de apache/gluten

Issues similares

Más issues de Scala

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.