dlt-hub/dlt

make the use of `loader_file_format` parameter consistent

Offen

#815 geöffnet am 11.12.2023

Auf GitHub ansehenContributor Guide
 (4 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (589 Forks)github user discovery
QoLgood first issue

Repository-Metriken

Stars
 (5.765 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 7T 7h) (54 gemergte PRs in 30 T)

Beschreibung

Background The loader_file_format can be configured on the pipeline level and this is fine. But technically it is a normalize setting and we should be able to configure it there as well.

Also not all data types are supported by all formats on all destinations. We should detect those and fail early.

Tasks

    • add loader_file_format to normalize configuration and use it to set the file format. If the explicit value is passed from the pipeline, it has the precedence.
    • add the exceptions to destination capabilities where we declare unsupported types per file format. Take the current cases from particular destination code (ie Bigquery and Snowflake have plenty of exceptions)
    • detect such exceptions in normalize (preferably in worker: before updating a schema check if any type is on exception list and raise exception with an explanation)
    • the behavior above must be tested

Contributor Guide

Research-Richtung
Untersuchen Sie, wie loader file format derzeit in Pipeline und Normalize Konfigurationen verwendet wird. Identifizieren Sie, wo die Normalize Einstellung und die Prioritätslogik hinzugefügt werden müssen. Überprüfen Sie die Ziel Fähigkeiten auf nicht unterstützte Typen pro Format. Implementieren Sie die Erkennung im Normalize Worker und schreiben Sie Tests.
Tech Stack
python
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Pythondlt
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60