apache/airflow

Explore the possibility of generic `SqlToGcsOperator`

Open

#21.599 aberto em 15 de fev. de 2022

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Python (16.781 forks)batch import
area:providersgood first issuekind:taskprovider:google

Métricas do repositório

Stars
 (44.809 stars)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Body

Recently SqlToS3Operator was added in PR https://github.com/apache/airflow/pull/20807 (It also deprecated MySqlToS3Operator)

In Google provider Currently we have BaseSQLToGCSOperator with PrestoToGCSOperator, MSSQLToGCSOperator, MySQLToGCSOperator, OracleToGCSOperator, PostgresToGCSOperator, TrinoToGCSOperator, DummySQLToGCSOperator

This task is to check if we can have a generic SqlToGCSOperator just like there is for AWS so we won't need class per each provider...

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

Guia do colaborador

Direção de pesquisa
Examine o BaseSQLToGCSOperator existente e suas subclasses em 'airflow/providers/google/cloud/transfers/sql to gcs.py'. Compare com a implementação do SqlToS3Operator da PR #20807 para entender como um padrão genérico foi alcançado para a AWS. Determine se uma abordagem similar pode ser aplicada ao GCS, possivelmente refatorando a classe base para aceitar um caminho de destino no GCS e parâmetros de formato de arquivo. Verifique se há discussões existentes nos comentários da issue sobre restrições de design.
Pilha de tecnologia
python
Domain
backendapiinfrastructure
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonApache AirflowGCS
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
55