apache/airflow

Explore the possibility of generic `SqlToGcsOperator`

Open

#21,599 opened on 2022年2月15日

GitHub で見る
 (3 comments) (0 reactions) (0 assignees)Python (16,781 forks)batch import
area:providersgood first issuekind:taskprovider:google

Repository metrics

Stars
 (44,809 stars)
PR merge metrics
 (平均マージ 7d 18h) (30d で 834 merged PRs)

説明

Body

Recently SqlToS3Operator was added in PR https://github.com/apache/airflow/pull/20807 (It also deprecated MySqlToS3Operator)

In Google provider Currently we have BaseSQLToGCSOperator with PrestoToGCSOperator, MSSQLToGCSOperator, MySQLToGCSOperator, OracleToGCSOperator, PostgresToGCSOperator, TrinoToGCSOperator, DummySQLToGCSOperator

This task is to check if we can have a generic SqlToGCSOperator just like there is for AWS so we won't need class per each provider...

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

コントリビューターガイド

調査方針
'airflow/providers/google/cloud/transfers/sql to gcs.py' にある既存の BaseSQLToGCSOperator とそのサブクラスを調査します。PR #20807 の SqlToS3Operator の実装と比較し、AWS でどのように汎用パターンが実現されたかを理解します。同様のアプローチを GCS に適用できるかどうかを判断し、おそらく基底クラスをリファクタリングしてターゲット GCS パスとファイル形式パラメータを受け入れるようにします。問題のコメントに設計上の制約に関する既存の議論があるか確認してください。
技術スタック
python
領域
backendapiinfrastructure
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
半日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
PythonApache AirflowGCS
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
55