apache/beam

Python SDK should stage only up-to-date versions of pipeline dependencies defined by requirements file.

Open

#19,968 opened on 2022年6月4日

GitHub で見る
 (0 comments) (0 reactions) (0 assignees)Java (4,097 forks)batch import
P3bugcoregood first issuepython

Repository metrics

Stars
 (7,313 stars)
PR merge metrics
 (平均マージ 6d) (30d で 243 merged PRs)

説明

When staging pipeline dependencies specified in requirements.txt file and transitive deps, we stage entire content of requirements-cache directory on user's machine, which may include dependencies that were cached a while ago and are no longer needed. See [1] for discussion and some ideas how we can avoid staging packages we don't need.

[1] https://lists.apache.org/thread.html/f99820489026a46160505ea9a4c8c4a0eabe8649143c1ee22b7088aa%40%3Cdev.beam.apache.org%3E

Imported from Jira BEAM-8900. Original Jira may contain additional context. Reported by: tvalentyn.

コントリビューターガイド

調査方針
requirements cache ディレクトリを確認し、パッケージのタイムスタンプを比較するか、pip の依存関係解決を使用して必要なパッケージを特定し、最新の依存関係のみをステージングする仕組みを実装してください。
技術スタック
python
領域
backendbuild system
Issue 種別
バグ
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3時間
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
Pythonpip
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
75