apache/dolphinscheduler

[Feature][task] Task python support better virtualenv

Open

#7 069 ouverte le 30 nov. 2021

Voir sur GitHub
 (4 commentaires) (0 réactions) (0 assignés)Java (4 324 forks)batch import
featurehelp wanted

Métriques du dépôt

Stars
 (11 659 stars)
Métriques de merge PR
 (Merge moyen 2j 21h) (22 PRs mergées en 30 j)

Description

Search before asking

  • I had searched in the issues and found no similar feature requirement.

Description

I submit PR https://github.com/apache/dolphinscheduler-website/pull/555 to ds website about how to use python virtualenv to run python script in virtualenv. But maybe we should support a better way to run python script with virtualenv instead of create multiply environment.

Cause environment is for all task attribute, but virtualenv only for python interpreter. for now is more look like

|-- parent python interpreter
|-- parent python interpreter virtunlenv1
|-- parent python interpreter virtunlenv2

All python virtualenv is visible to all type task. But I think a better way is virtualenv only for python task

|-- parent python interpreter
    |-- parent python interpreter virtunlenv1
    |-- parent python interpreter virtunlenv2

which mean we would have less python environment name, and each python environment have multiply virtualenv selection.

Use case

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Direction de recherche
Examiner l'implémentation actuelle de l'environnement des tâches dans dolphinscheduler, en particulier comment les tâches Python gèrent virtualenv. Le problème suggère de restructurer pour avoir virtualenv sous chaque interpréteur Python plutôt que globalement. Examinez la PR référencée (apache/dolphinscheduler website#555) pour le contexte sur le comportement souhaité. Étudiez le code pertinent dans le dépôt dolphinscheduler, probablement dans les modules liés aux tâches, pour comprendre la gestion actuelle de l'environnement et identifier les changements nécessaires.
Stack technique
javapython
Domaine
backenddata
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Pythonvirtualenv
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60