dlt-hub/dlt

make the use of `loader_file_format` parameter consistent

Ouverte

#815 ouverte le 11 déc. 2023

Voir sur GitHubGuide contributeur
 (4 commentaires) (0 réaction) (0 personne assignée)Python (589 forks)github user discovery
QoLgood first issue

Métriques du dépôt

Stars
 (5 765 étoiles)
Métriques de merge PR
 (Merge moyen 7j 7h) (54 PRs mergées en 30 j)

Description

Background The loader_file_format can be configured on the pipeline level and this is fine. But technically it is a normalize setting and we should be able to configure it there as well.

Also not all data types are supported by all formats on all destinations. We should detect those and fail early.

Tasks

    • add loader_file_format to normalize configuration and use it to set the file format. If the explicit value is passed from the pipeline, it has the precedence.
    • add the exceptions to destination capabilities where we declare unsupported types per file format. Take the current cases from particular destination code (ie Bigquery and Snowflake have plenty of exceptions)
    • detect such exceptions in normalize (preferably in worker: before updating a schema check if any type is on exception list and raise exception with an explanation)
    • the behavior above must be tested

Guide contributeur

Direction de recherche
Examinez comment loader file format est utilisé actuellement dans la configuration du pipeline et de normalize. Identifiez où ajouter le paramètre normalize et la logique de priorité. Examinez les capacités de destination pour les types non pris en charge par format. Implémentez la détection dans le worker de normalize et écrivez des tests.
Stack technique
python
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Pythondlt
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60