Number of processes started by IPyParallel clusters

Offen

#693 erstellt am 19.4.2022 8 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 25/100

Issue-Typ: Dokumentation
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: jupyter, python
Bereich: distributed-systems, documentation

Rechercherichtung

Beginne mit den im Issue beschriebenen Prozessanzahlen und vergleiche sie mit der Dokumentation zu all-connections in der verlinkten Connections-Referenz. Ermittle, ob die gemeldeten Prozessanzahlen für Controller und Engine erwartet werden, und dokumentiere das Ergebnis sowie jede unterstützte Möglichkeit, sie zu reduzieren; das Issue ist abgeschlossen, wenn Verhalten und Hinweise klar sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

A lot of users seem to be surprised by the number of processes that are started as part of an IPyParallel cluster. In my testing, we seem to start 2 processes per engine (the engine itself and the nanny), an mpiexec process in case of MPI-Launcher, and 9 processes for the controller. The number of controller processes seem to be higher than expected (5 vs 9) based on: https://ipyparallel.readthedocs.io/en/latest/reference/connections.html#all-connections.

Is this in line with what you expect (9 processes)? If so, is this a documentation issue that we could fix? If not, is this a bug that needs to be fixed?
Is there a way to reduce the number of processes required in general across the board, in particular for the controller?
Can we improve the documentation on this in general?

Vorherrschende Sprache: Jupyter Notebook
Sterne: 2.6k
Forks: 1k
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus ipython/ipyparallel

Option of defining an environment script for starting engines (with SSHEngineSetLauncher) Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

ipython/ipyparallel#1029 · 9 Kommentare · Erstellt am 25.6.2026
pidigits example website is gone Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 35/100

ipython/ipyparallel#984 · Erstellt am 12.2.2026
Client.result_status(..., status_only=False) fails in _extract_metadata with TypeError: 'NoneType' object is not subscriptable Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

ipython/ipyparallel#937 · 4 Kommentare · Erstellt am 06.4.2025
Packages and definitions loaded in the regular kernel are not known by engines and vice versa Offen

question

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

ipython/ipyparallel#897 · 12 Kommentare · Erstellt am 22.10.2024
Outstanding task on client but hub says completed when using broadcast view Offen

bug

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

ipython/ipyparallel#882 · Erstellt am 22.5.2024

Alle Issues in ipython/ipyparallel