Outstanding task on client but hub says completed when using broadcast view
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 35/100
- Issue 類型
- 缺陷
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- jupyter, numpy, python
研究方向
先從報告中展示的 broadcast_view 和 apply 工作流程開始，然後將 ar.get() 的完成情況與 queue_status() 以及 purge_local_results('all') 檢查進行比較。當報告中的已完成任務狀態與 purge 操作一致，或 issue 明確記錄了剩餘限制時，即表示完成。未指定檔案或測試。
由索引模型根據 Issue 內容生成。
描述
I want to purge_everything or purge_local_results but I'm getting RuntimeError: Can't purge outstanding tasks: ...
The reason I want to purge is that after a couple of tasks my engines memory seems to get full and slows down the process. I'm trying to figure out if it's a memory issue related to ipyparallel or something related to the tasks.
Here is a rough sketch of what I'm doing:
do some setup:
from ipyparallel import Client, Reference
rc = Client(client_args, client_kwargs)
view = rc.broadcast_view(view_args, view_kwargs)
view.is_coalescing = False
view.apply_sync( # do some setup stuff )
then:
ar = view.apply( # do the real work, and pickle it)
fvs = np.array(sum([pickle.loads(fv) for fv in ar.get()],[]))
view.client.purge_local_results('all') # this says there are outstanding tasks
view.client.queue_status() # this says all tasks are complete
- 主要語言
- Jupyter Notebook
- 星號
- 2.6k
- 分支
- 1k
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
ipython/ipyparallel 的其他 Issue
-
難度 4/5 3-5 天 新手友好度 48/100
ipython/ipyparallel#1029 · 9 則留言 ·
-
難度 2/5 1-3 小時 新手友好度 35/100
ipython/ipyparallel#984 ·
-
難度 4/5 3-5 天 新手友好度 35/100
ipython/ipyparallel#937 · 4 則留言 ·
-
question
難度 5/5 一週以上 新手友好度 25/100
ipython/ipyparallel#897 · 12 則留言 ·
-
難度 4/5 3-5 天 新手友好度 30/100
ipython/ipyparallel#851 · 1 則留言 ·
查看 ipython/ipyparallel 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 70/100
維護者通常 2 天內回覆
-
DCS environment config ignores username and password可能已有人在做 @Anandb71 今天認領。 未關閉bug
難度 2/5 1-3 小時 新手友好度 74/100
維護者通常 10 天內回覆
-
難度 2/5 1-3 小時 新手友好度 75/100
n0-computer/iroh-gossip#174 ·
維護者通常 6 天內回覆
-
area:manager bug triage:in-progress
難度 2/5 1-3 小時 新手友好度 72/100
維護者通常 1 天內回覆
-
0 - Backlog Bug
難度 2/5 1-3 小時 新手友好度 72/100
BrighterCommand/Brighter#4539 ·
維護者通常 1 天內回覆