Standardization fails if default value is not defined for a non-nullable array
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 55/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Estancado
- Stack tecnológico
- scala, spark
- Área
- data-engineering
Línea de trabajo
Comienza en CommonTypeDefaults.scala alrededor de las líneas 63-71, donde el stack trace muestra que el valor predeterminado faltante se produce y se gestiona. Reproduce el problema con una columna de array no anulable y sin un valor predeterminado explícito, y verifica que la estandarización use un array vacío en lugar de lanzar la excepción.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the bug
The error is:
Caused by: java.lang.IllegalStateException: No default value defined for data type array
at za.co.absa.standardization.types.CommonTypeDefaults.getDataTypeDefaultValue(CommonTypeDefaults.scala:63) ~[pramen-components_2.12_3.5-0.3.5-SNAPSHOT.jar:0.3.5-SNAPSHOT]
at za.co.absa.standardization.types.CommonTypeDefaults.$anonfun$getDataTypeDefaultValueWithNull$1(CommonTypeDefaults.scala:71) ~[pramen-components_2.12_3.5-0.3.5-SNAPSHOT.jar:0.3.5-SNAPSHOT]
at scala.util.Try$.apply(Try.scala:213) ~[scala-library-2.12.18.jar:?]
at za.co.absa.standardization.types.CommonTypeDefaults.getDataTypeDefaultValueWithNull(CommonTypeDefaults.scala:71) ~[pramen-components_2.12_3.5-0.3.5-SNAPSHOT.jar:0.3.5-SNAPSHOT]
But the natural default value for an array is the empty array.
To Reproduce
- Create a schema with a non-nullable array column.
- Try to standardize data with this schema while not specifying a default value for the array column.
- See the error.
Expected behavior
Standardization should use empty array as the default value for array type automatically.
Business Value
--
Screenshots
--
Additional context
--
- Lenguaje dominante
- Scala
- Estrellas
- 7
- Forks
- 2
- Merge medio
- 8 d 8 h
- PR fusionados (30 d)
- 3
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de AbsaOSS/spark-data-standardization
-
enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
bug
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
AbsaOSS/spark-data-standardization#68 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Standardization can fail with `Task not serializable` when casting to date is requestedPosiblemente ocupada @qwerty44-U la tomó hace 123 días. Abiertobug
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Todos los issues de AbsaOSS/spark-data-standardization
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
llm4s (org.llm4s) is not indexedAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
scalacenter/scaladex#1834 ·
-
PlatformSpecific.hasGreenThreads incorrectly returns false for JDK updates and non-GA versionsPosiblemente ocupada @hearnadam la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
zio/zio#11303 · 1 reacción · 2 asignados ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/pekko-persistence-jdbc#646 ·
Los mantenedores suelen responder en 1 día