Low Values in Binary Data
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- postgresql, scala, spark
- Ambito
- data-engineering, databases
Direzione di ricerca
Inizia leggendo le opzioni di Cobrix e la documentazione sulla gestione dei caratteri/EBCDIC, quindi riproduci il flusso segnalato: leggi un file mainframe EBCDIC con valori bassi nei campi String e carica l'output verso Postgres. L'issue non indica file o test, quindi per considerare il lavoro «done» sarebbe necessario l'accordo dei maintainer: documentare un'opzione esistente oppure aggiungere una conversione configurabile del valore predefinito.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
#Background
Currently we are using Cobrix with Databricks to read EBCDI files from Mainframe and convert them to Parquet. All is working fine. Some of the fields have Low values along with data in the Character/String fields. When we read the binary files they look like empty boxes. All is good till here.But when we load them to Postgres DB the load is failing as it is not able to recognize these characters.
Question
We can definitely write a spark code to replace these as Spaces or something else. But will like to know if Cobrix has any function which we can apply so that it can convert these unrecogniized characters to a Default Value?
- Lingua principale
- Scala
- Stelle
- 170
- Fork
- 96
- Merge medio
- 7g 5h
- PR unite (30g)
- 4
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di AbsaOSS/cobrix
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
-
question
Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100
-
question
Difficoltà 5/5 Più di una settimana Idoneità per principianti 42/100
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di AbsaOSS/cobrix
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
chipsalliance/rocket-chip#3845 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 86/100
I maintainer di solito rispondono entro 13 giorni
-
bug priority:medium
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
apache/datafusion-comet#7559 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
-
gesticulate: the `FastInfoset` suffix is written `fast-infoset`, not the registered `fastinfoset`Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
propensive/soundness#2437 ·
I maintainer di solito rispondono entro 1 giorno