Standardization fails if default value is not defined for a non-nullable array
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 55/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Ferma
- Stack tecnologico
- scala, spark
- Ambito
- data-engineering
Direzione di ricerca
Inizia in CommonTypeDefaults.scala intorno alle righe 63-71, dove lo stack trace mostra che il valore predefinito mancante viene generato e gestito. Riproduci il problema con una colonna array non nullable e senza un valore predefinito esplicito, quindi verifica che la standardizzazione utilizzi un array vuoto invece di generare l’eccezione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the bug
The error is:
Caused by: java.lang.IllegalStateException: No default value defined for data type array
at za.co.absa.standardization.types.CommonTypeDefaults.getDataTypeDefaultValue(CommonTypeDefaults.scala:63) ~[pramen-components_2.12_3.5-0.3.5-SNAPSHOT.jar:0.3.5-SNAPSHOT]
at za.co.absa.standardization.types.CommonTypeDefaults.$anonfun$getDataTypeDefaultValueWithNull$1(CommonTypeDefaults.scala:71) ~[pramen-components_2.12_3.5-0.3.5-SNAPSHOT.jar:0.3.5-SNAPSHOT]
at scala.util.Try$.apply(Try.scala:213) ~[scala-library-2.12.18.jar:?]
at za.co.absa.standardization.types.CommonTypeDefaults.getDataTypeDefaultValueWithNull(CommonTypeDefaults.scala:71) ~[pramen-components_2.12_3.5-0.3.5-SNAPSHOT.jar:0.3.5-SNAPSHOT]
But the natural default value for an array is the empty array.
To Reproduce
- Create a schema with a non-nullable array column.
- Try to standardize data with this schema while not specifying a default value for the array column.
- See the error.
Expected behavior
Standardization should use empty array as the default value for array type automatically.
Business Value
--
Screenshots
--
Additional context
--
- Lingua principale
- Scala
- Stelle
- 7
- Fork
- 2
- Merge medio
- 8g 8h
- PR unite (30g)
- 3
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di AbsaOSS/spark-data-standardization
-
enhancement
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
-
bug
Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100
AbsaOSS/spark-data-standardization#68 · 1 commento ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Standardization can fail with `Task not serializable` when casting to date is requestedForse già presa @qwerty44-U l’ha presa 120 giorni fa. Apertabug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di AbsaOSS/spark-data-standardization
Issue simili
-
enhancement good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
scylladb/scylla-migrator#417 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
software-mansion/starknet-jvm#641 ·
-
Alias uploads fail when require-share-password is enabledForse già presa @ChriFo l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
-
arch build failsAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100