apache/beam

Python SDK should stage only up-to-date versions of pipeline dependencies defined by requirements file.

Open

#19.968 aberto em 4 de jun. de 2022

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Java (4.097 forks)batch import
P3bugcoregood first issuepython

Métricas do repositório

Stars
 (7.313 stars)
Métricas de merge de PR
 (Mesclagem média 6d) (243 fundiu PRs em 30d)

Description

When staging pipeline dependencies specified in requirements.txt file and transitive deps, we stage entire content of requirements-cache directory on user's machine, which may include dependencies that were cached a while ago and are no longer needed. See [1] for discussion and some ideas how we can avoid staging packages we don't need.

[1] https://lists.apache.org/thread.html/f99820489026a46160505ea9a4c8c4a0eabe8649143c1ee22b7088aa%40%3Cdev.beam.apache.org%3E

Imported from Jira BEAM-8900. Original Jira may contain additional context. Reported by: tvalentyn.

Guia do colaborador

Direção de pesquisa
Inspecione o diretório requirements cache e implemente um mecanismo para estagiar apenas dependências atualizadas, comparando os timestamps dos pacotes ou usando a resolução de dependências do pip para determinar quais pacotes são necessários.
Pilha de tecnologia
python
Domain
backendbuild system
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythonpip
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75