Option of defining an environment script for starting engines (with SSHEngineSetLauncher)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Área
- distributed-systems
Línea de trabajo
Empieza leyendo SSHEngineSetLauncher y SSHLauncher; después, inspecciona el pequeño script de prueba multiplataforma descrito en el issue y la gestión del entorno de subprocess.Popen. El trabajo estará terminado cuando un script de entorno pueda preparar el entorno del engine en Linux y Windows sin hacer que el handle del proceso de Python apunte al shell, con pruebas de implementación y documentación.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
We need to adapt the environment before starting the actual ipp engine (through the SSHEngineSetLauncher). Adapting the environment via the environment parameter (in class SSHLauncher) is possible, but it's not very practical, since the launcher needs to know all the engine computer details in advance.
Calling a local environment script before starting the engine would give much more flexibility and would easily allow starting the engine e.g. in a python virtual environment, conda environment, etc.
Although the general idea is quite simple the actual implement is not as easy. The problem: one cannot simply start a shell, next the environment script and then the actual command because the process handle (in python) would point to the shell and not the actual command. Hence, the retrieved process id would be incorrect. Using some system code it would be still possible to retrieve the true process id, but this is especially difficult in windows which is why I tested an alternative solution:
Starting a shell, outputting all environment variable, running the environment script and outputting all environment variable again. A bit of python code analyses the output and collects the environment variable changes (especially added and/or changed env.vars). I have implemented a small test script that works under linux and windows.
The collected changes can then be easily passed to the env parameter of subprocess.Popen function.
Does this sound like an appropriate idea and solution?
As before I'm happy to provide the implementation, tests, documentation, etc.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 2.6k
- Forks
- 1k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ipython/ipyparallel
-
pidigits example website is gone Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
ipython/ipyparallel#984 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
ipython/ipyparallel#937 · 4 comentarios ·
-
Packages and definitions loaded in the regular kernel are not known by engines and vice versa Abiertoquestion
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
ipython/ipyparallel#897 · 12 comentarios ·
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
ipython/ipyparallel#882 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
ipython/ipyparallel#851 · 1 comentario ·
Todos los issues de ipython/ipyparallel
Issues similares
-
bug examples invalid iris
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
ai_reviewed
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ydb-platform/ydb#53838 · 3 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
NovaSky-AI/SkyRL#2263 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
johanhaleby/occurrent#1106 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100