apache/dolphinscheduler

[Feature][task] Task python support better virtualenv

Open

#7.069 aberto em 30 de nov. de 2021

Ver no GitHub
 (4 comments) (0 reactions) (0 assignees)Java (4.324 forks)batch import
featurehelp wanted

Métricas do repositório

Stars
 (11.659 stars)
Métricas de merge de PR
 (Mesclagem média 2d 21h) (22 fundiu PRs em 30d)

Description

Search before asking

  • I had searched in the issues and found no similar feature requirement.

Description

I submit PR https://github.com/apache/dolphinscheduler-website/pull/555 to ds website about how to use python virtualenv to run python script in virtualenv. But maybe we should support a better way to run python script with virtualenv instead of create multiply environment.

Cause environment is for all task attribute, but virtualenv only for python interpreter. for now is more look like

|-- parent python interpreter
|-- parent python interpreter virtunlenv1
|-- parent python interpreter virtunlenv2

All python virtualenv is visible to all type task. But I think a better way is virtualenv only for python task

|-- parent python interpreter
    |-- parent python interpreter virtunlenv1
    |-- parent python interpreter virtunlenv2

which mean we would have less python environment name, and each python environment have multiply virtualenv selection.

Use case

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Revisar a implementação atual do ambiente de tarefas no dolphinscheduler, especificamente como as tarefas Python lidam com virtualenv. A questão sugere reestruturar para ter virtualenv sob cada interpretador Python, em vez de globalmente. Examine o PR referenciado (apache/dolphinscheduler website#555) para contexto sobre o comportamento desejado. Investigue o código relevante no repositório dolphinscheduler, provavelmente nos módulos relacionados a tarefas, para entender o tratamento atual do ambiente e identificar as alterações necessárias.
Pilha de tecnologia
javapython
Domain
backenddata
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
Pythonvirtualenv
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60