If Timestamp/Date pattern contains both literal or variable length entry and fractions of second placeholders it's likely to cause error
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- scala, spark
- Área
- data-engineering
Línea de trabajo
Comienza reproduciendo el fallo con el patrón "'at' HH:mm:ss.SSS" mediante EnceladusDateTimeParser.format y el flujo de Standardization. Traza cómo las partes literales o de longitud variable del patrón afectan al análisis de posiciones de las fracciones de segundo; se considera terminado cuando los patrones con un literal antes de SSS se convierten correctamente sin lanzar una excepción.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
This issue is a shortcut for https://github.com/AbsaOSS/enceladus/issues/677 (moving it from Enceladus to here)
Describe the bug
If Timestamp/Date pattern contains both literal parts or variable length entry (month name, day name, ...) and fractions of second placeholders namely if any literal part is before any second fraction placeholder it will fail Standardization of such filed or even crash with an exception.
To Reproduce
Steps to reproduce the behavior OR commands run:
- Set the timestamp pattern to
"'at' HH:mm:ss.SSS" - Try to Standardize or just use 'EnceladusDateTimeParser.format'
- Exception, wouldn't it be
SSSbe at the tail it would "just" fail the conversion in Standardization
Expected behavior
This needs to work properly
Additional context
The reason is that the quote characters are counted in when the position of second fractions are analyzed. But in the actual string to convert they are not present making the index out of place, even outside the boundaries.
- Lenguaje dominante
- Scala
- Estrellas
- 7
- Forks
- 2
- Merge medio
- 22 d 3 h
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de AbsaOSS/spark-data-standardization
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100
-
enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
bug
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
AbsaOSS/spark-data-standardization#68 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Standardization can fail with `Task not serializable` when casting to date is requestedPosiblemente ocupada @qwerty44-U la tomó hace 117 días. Abiertobug
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
Todos los issues de AbsaOSS/spark-data-standardization
Issues similares
-
area:scale audit priority:P2
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
KD5UJC-XYZ/scarab#231 ·
Los mantenedores suelen responder en 1 día
-
[BUILD] Bump Ivy up to 2.6.0Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
[Bug Report] BOOM v4 with nBreakpoints>0 fails to elaborate in bpwatchSourceNode bulk connectAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
riscv-boom/riscv-boom#819 ·