apache/beam

Python SDK should stage only up-to-date versions of pipeline dependencies defined by requirements file.

Open

#19.968 aperta il 4 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3bugcoregood first issuepython

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

When staging pipeline dependencies specified in requirements.txt file and transitive deps, we stage entire content of requirements-cache directory on user's machine, which may include dependencies that were cached a while ago and are no longer needed. See [1] for discussion and some ideas how we can avoid staging packages we don't need.

[1] https://lists.apache.org/thread.html/f99820489026a46160505ea9a4c8c4a0eabe8649143c1ee22b7088aa%40%3Cdev.beam.apache.org%3E

Imported from Jira BEAM-8900. Original Jira may contain additional context. Reported by: tvalentyn.

Guida contributor

Direzione di ricerca
Ispeziona la directory requirements cache e implementa un meccanismo per mettere in staging solo le dipendenze aggiornate confrontando i timestamp dei pacchetti o utilizzando la risoluzione delle dipendenze di pip.
Tech stack
python
Dominio
backendbuild system
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonpip
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75