Number of processes started by IPyParallel clusters

未關閉

#693 建立於 2022年4月19日 8 則留言 0 個 reaction 已指派 0 人在 GitHub 檢視

還沒有人認領這個 Issue。

評估

難度: 4/5
預估耗時: 3-5 天
新手友好度: 25/100

Issue 類型: 文件
描述清晰度: 需要釐清
活躍度: 停滯
技術堆疊: jupyter, python
領域: distributed-systems, documentation

研究方向

從 issue 中描述的處理程序數量開始，並將其與連結的 connections 參考文件中的 all-connections 文件進行比較。判斷回報的 controller 和 engine 處理程序數量是否符合預期，然後記錄結果以及任何受支援的減少處理程序數量的方法；當行為和指南都清楚時，該 issue 即完成。

由索引模型根據 Issue 內容生成。

描述

A lot of users seem to be surprised by the number of processes that are started as part of an IPyParallel cluster. In my testing, we seem to start 2 processes per engine (the engine itself and the nanny), an mpiexec process in case of MPI-Launcher, and 9 processes for the controller. The number of controller processes seem to be higher than expected (5 vs 9) based on: https://ipyparallel.readthedocs.io/en/latest/reference/connections.html#all-connections.

Is this in line with what you expect (9 processes)? If so, is this a documentation issue that we could fix? If not, is this a bug that needs to be fixed?
Is there a way to reduce the number of processes required in general across the board, in particular for the controller?
Can we improve the documentation on this in general?

主要語言: Jupyter Notebook
星號: 2.6k
分支: 1k
PR 合併指標: 30 天內沒有已合併 PR

貢獻指南

開啟貢獻指南

從這裡開始

先讀完整個 Issue，再讀專案的貢獻指南。
在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
Fork 儲存庫，在一個分支上完成修改。
送出 Pull Request，並在描述裡引用這個 Issue 編號。

ipython/ipyparallel 的其他 Issue

Option of defining an environment script for starting engines (with SSHEngineSetLauncher) 未關閉

難度 4/5 3-5 天新手友好度 48/100

ipython/ipyparallel#1029 · 9 則留言 · 2026年6月25日建立
pidigits example website is gone 未關閉

難度 2/5 1-3 小時新手友好度 35/100

ipython/ipyparallel#984 · 2026年2月12日建立
Client.result_status(..., status_only=False) fails in _extract_metadata with TypeError: 'NoneType' object is not subscriptable 未關閉

難度 4/5 3-5 天新手友好度 35/100

ipython/ipyparallel#937 · 4 則留言 · 2025年4月6日建立
Packages and definitions loaded in the regular kernel are not known by engines and vice versa 未關閉

question

難度 5/5 一週以上新手友好度 25/100

ipython/ipyparallel#897 · 12 則留言 · 2024年10月22日建立
Outstanding task on client but hub says completed when using broadcast view 未關閉

bug

難度 4/5 3-5 天新手友好度 35/100

ipython/ipyparallel#882 · 2024年5月22日建立

查看 ipython/ipyparallel 的全部 Issue

相似的 Issue

[Bug]: 09_gemm_one_shot_all_reduce aborts on power-of-two CU counts (gemm_sms auto-detect equals total_sms) 未關閉

bug examples invalid iris

難度 2/5 1-3 小時新手友好度 70/100

ROCm/iris#557 · 2026年9月23日建立
Mute ydb/core/kqp/ut/federated_query/datastreams 5 tests in main 未關閉

ai_reviewed

難度 2/5 1-3 小時新手友好度 68/100

ydb-platform/ydb#53838 · 3 則留言 · 2026年9月22日建立
pad_training_input_batch pads TensorList fields with tensor[0].clone() — loss-masked pad rows carry a real row's payload (ragged-consumer crash; wrong pixel_values/image_grid_thw on pad rows) 未關閉

難度 2/5 1-3 小時新手友好度 82/100

NovaSky-AI/SkyRL#2263 · 2026年9月22日建立
A RabbitMQ bridge can keep a stale consumer tag and never consume again 未關閉

難度 2/5 1-3 小時新手友好度 75/100

johanhaleby/occurrent#1106 · 2026年9月22日建立
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses 未關閉

難度 2/5 1-3 小時新手友好度 78/100

apache/gluten#13099 · 2026年9月22日建立

更多 Distributed Systems Issue

精選適合新手參與的 GitHub issue 摘要。