apache/airflow

Explore the possibility of generic `SqlToGcsOperator`

Open

#21.599 geöffnet am 15. Feb. 2022

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (16.781 Forks)batch import
area:providersgood first issuekind:taskprovider:google

Repository-Metriken

Stars
 (44.809 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 18h) (834 gemergte PRs in 30 T)

Beschreibung

Body

Recently SqlToS3Operator was added in PR https://github.com/apache/airflow/pull/20807 (It also deprecated MySqlToS3Operator)

In Google provider Currently we have BaseSQLToGCSOperator with PrestoToGCSOperator, MSSQLToGCSOperator, MySQLToGCSOperator, OracleToGCSOperator, PostgresToGCSOperator, TrinoToGCSOperator, DummySQLToGCSOperator

This task is to check if we can have a generic SqlToGCSOperator just like there is for AWS so we won't need class per each provider...

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

Contributor Guide

Research-Richtung
Untersuchen Sie den vorhandenen BaseSQLToGCSOperator und seine Unterklassen in 'airflow/providers/google/cloud/transfers/sql to gcs.py'. Vergleichen Sie dies mit der Implementierung von SqlToS3Operator aus PR #20807, um zu verstehen, wie ein generisches Muster für AWS erreicht wurde. Bestimmen Sie, ob ein ähnlicher Ansatz auf GCS angewendet werden kann, möglicherweise durch Refactoring der Basisklasse, um einen Ziel GCS Pfad und Dateiformatparameter zu akzeptieren. Prüfen Sie, ob es in den Issue Kommentaren bereits Diskussionen zu Designbeschränkungen gibt.
Tech Stack
python
Domain
backendapiinfrastructure
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonApache AirflowGCS
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
55