dlt-hub/dlt

make the use of `loader_file_format` parameter consistent

Aperta

#815 aperta il 11 dic 2023

Vedi su GitHubGuida contributor
 (4 commenti) (0 reazioni) (0 assegnatari)Python (589 fork)github user discovery
QoLgood first issue

Metriche repository

Star
 (5765 stelle)
Metriche merge PR
 (Merge medio 7g 7h) (54 PR mergiate in 30 g)

Descrizione

Background The loader_file_format can be configured on the pipeline level and this is fine. But technically it is a normalize setting and we should be able to configure it there as well.

Also not all data types are supported by all formats on all destinations. We should detect those and fail early.

Tasks

    • add loader_file_format to normalize configuration and use it to set the file format. If the explicit value is passed from the pipeline, it has the precedence.
    • add the exceptions to destination capabilities where we declare unsupported types per file format. Take the current cases from particular destination code (ie Bigquery and Snowflake have plenty of exceptions)
    • detect such exceptions in normalize (preferably in worker: before updating a schema check if any type is on exception list and raise exception with an explanation)
    • the behavior above must be tested

Guida contributor

Direzione di ricerca
Esamina come loader file format viene attualmente utilizzato nella pipeline e nelle configurazioni di normalize. Identifica dove aggiungere l'impostazione di normalize e la logica di precedenza. Rivedi le capacità di destinazione per i tipi non supportati per formato. Implementa la rilevazione nel worker di normalize e scrivi test.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Pythondlt
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60