apache/airflow

Explore the possibility of generic `SqlToGcsOperator`

Open

#21.599 aperta il 15 feb 2022

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (16.781 fork)batch import
area:providersgood first issuekind:taskprovider:google

Metriche repository

Star
 (44.809 star)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Body

Recently SqlToS3Operator was added in PR https://github.com/apache/airflow/pull/20807 (It also deprecated MySqlToS3Operator)

In Google provider Currently we have BaseSQLToGCSOperator with PrestoToGCSOperator, MSSQLToGCSOperator, MySQLToGCSOperator, OracleToGCSOperator, PostgresToGCSOperator, TrinoToGCSOperator, DummySQLToGCSOperator

This task is to check if we can have a generic SqlToGCSOperator just like there is for AWS so we won't need class per each provider...

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

Guida contributor

Direzione di ricerca
Esamina l'operatore BaseSQLToGCSOperator esistente e le sue sottoclassi in 'airflow/providers/google/cloud/transfers/sql to gcs.py'. Confronta con l'implementazione di SqlToS3Operator dalla PR #20807 per capire come è stato ottenuto un pattern generico per AWS. Determina se un approccio simile può essere applicato a GCS, eventualmente rifattorizzando la classe base per accettare un percorso GCS di destinazione e parametri di formato file. Verifica se ci sono discussioni esistenti nei commenti dell'issue riguardo vincoli di progettazione.
Tech stack
python
Dominio
backendapiinfrastructure
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonApache AirflowGCS
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55