Standardization can fail with `Task not serializable` when casting to date is requested
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
Línea de trabajo
Comienza reproduciendo el fallo con los metadatos del campo entero mostrados en el issue, incluido el patrón yyyyMM y la zona horaria. Lee la ruta de serialización que incluye DefaultStandardizationConfig, UDFBuilder y NumericParser, y verifica después que una entrada de fecha no válida produzca un error de datos en lugar de Task not serializable, identificando idealmente la columna o condición afectada.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the bug
When conversion from an integer to a date in format of yyyyMM (possibly YYYYMM), Standardization had thrown a big error message starting from:
Job aborted. (Job aborted due to stage failure: Task not serializable: = java.io.NotSerializableException: za.co.absa.standardization.config.Default= StandardizationConfig$ Serialization stack: - object not serializable (class: za.co.absa.standardization.config.Defaul= tStandardizationConfig$, value: za.co.absa.standardization.config.DefaultSt= andardizationConfig$@3ba3e058) - element of array (index: 3) - array (class [Ljava.lang.Object;, size 5) - field (class: java.lang.invoke.SerializedLambda, name: capturedArgs, typ= e: class [Ljava.lang.Object;) - object (class java.lang.invoke.SerializedLambda, SerializedLambda[captur= ingClass=3Dclass za.co.absa.standardization.udf.UDFBuilder$, functionalInte= rfaceMethod=3Dscala/Function1.apply:(Ljava/lang/Object;)Ljava/lang/Object;,= implementation=3DinvokeStatic za/co/absa/standardization/udf/UDFBuilder$.$= anonfun$stringUdfViaNumericParser$1:(Lza/co/absa/standardization/types/pars= ers/NumericParser;ZLjava/lang/String;Lza/co/absa/standardization/config/Sta= ndardizationConfig;Lscala/Option;Ljava/lang/String;)Lza/co/absa/standardiza= tion/udf/UDFResult;, instantiatedMethodType=3D(Ljava/lang/String;)Lza/co/ab= sa/standardization/udf/UDFResult;, numCaptured=3D5]) - writeReplace data (class: java.lang.invoke.SerializedLambda) - object (class za.co.absa.standardization.udf.UDFBuilder$$$Lambda$5214/36= 0225670,
To Reproduce
Steps to reproduce the behavior OR commands run:
- Go to '...'
- Use value '...'
- Run using
- See error
Try also to have an integer type with metadata:
{"name": "MY_DATE", "type": "integer", "metadata": {"pattern": "yyyyMM", "timezone": "Africa/Johannesburg"}, "nullable": true}
Expected behavior
- The standardization should have data errors if incorrect date format is passed, not failing the pipeline.
- If the above is not an option, at least, the error message should say which coulmn or condition have caused the error.
Screenshots
If applicable, add screenshots to help explain your problem.
Desktop (please complete the following information):
- OS: [e.g. iOS]
- Versions of libraries (Spark, Scala, ...)
- Version [e.g. 22]
Additional context
Add any other context about the problem here.
- Lenguaje dominante
- Scala
- Estrellas
- 7
- Forks
- 2
- Merge medio
- 8 d 8 h
- PR fusionados (30 d)
- 3
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de AbsaOSS/spark-data-standardization
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100
-
enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
bug
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
AbsaOSS/spark-data-standardization#68 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Todos los issues de AbsaOSS/spark-data-standardization
Issues similares
-
area:verification status:backlog
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
KD5UJC-XYZ/scarab#459 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
llm4s (org.llm4s) is not indexedAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
scalacenter/scaladex#1834 ·
-
PlatformSpecific.hasGreenThreads incorrectly returns false for JDK updates and non-GA versionsPosiblemente ocupada @hearnadam la tomó hace 1 día. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
zio/zio#11303 · 1 reacción · 2 asignados ·
Los mantenedores suelen responder en 1 día
-
Disabled tools can still be called by the agentPosiblemente ocupada @shaynhornik la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
apache/texera#9122 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 1 día