apache/airflow

Explore the possibility of generic `SqlToGcsOperator`

Open

#21,599 创建于 2022年2月15日

在 GitHub 查看
 (3 评论) (0 反应) (0 负责人)Python (16,781 fork)batch import
area:providersgood first issuekind:taskprovider:google

仓库指标

Star
 (44,809 star)
PR 合并指标
 (平均合并 7天 18小时) (30 天内合并 834 个 PR)

描述

Body

Recently SqlToS3Operator was added in PR https://github.com/apache/airflow/pull/20807 (It also deprecated MySqlToS3Operator)

In Google provider Currently we have BaseSQLToGCSOperator with PrestoToGCSOperator, MSSQLToGCSOperator, MySQLToGCSOperator, OracleToGCSOperator, PostgresToGCSOperator, TrinoToGCSOperator, DummySQLToGCSOperator

This task is to check if we can have a generic SqlToGCSOperator just like there is for AWS so we won't need class per each provider...

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

贡献者指南

研究方向
检查 'airflow/providers/google/cloud/transfers/sql to gcs.py' 中现有的 BaseSQLToGCSOperator 及其子类。与 PR #20807 中的 SqlToS3Operator 实现进行比较，以了解 AWS 是如何实现通用模式的。确定是否可以将类似方法应用于 GCS，可能通过重构基类以接受目标 GCS 路径和文件格式参数来实现。检查问题评论中是否有关于设计约束的现有讨论。
技术栈
python
领域
backendapiinfrastructure
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonApache AirflowGCS
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
55