apache/airflow

Add `execute_tasks_new_python_interpreter` argument to `PythonOperator`

Open

#41,093 opened on 2024年7月29日

GitHub で見る
 (5 comments) (3 reactions) (0 assignees)Python (16,781 forks)batch import
area:coregood first issuekind:featureprovider:standard

Repository metrics

Stars
 (44,809 stars)
PR merge metrics
 (平均マージ 7d 18h) (30d で 834 merged PRs)

説明

Description

Currently from my knowledge it is only possible to force all python tasks to execute in a new interpreter for every execution globally via this setting:

Would it be possible to add this argument to the PythonOperator so it is possible to control this behavior at the task level?

Use case/motivation

Related issues

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

コントリビューターガイド

調査方針
`execute tasks new python interpreter`がグローバルに実装されている方法を調査し、PythonOperatorの実行パスを通じてパラメータをトレースして、タスクレベルのオーバーライドを追加します。
技術スタック
python
領域
backend
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
半日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
PythonGitApache Airflow basics
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
60