Outstanding task on client but hub says completed when using broadcast view
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- jupyter, numpy, python
調査の方向性
レポートに示されている broadcast_view と apply のワークフローから始め、その後 ar.get() の完了を queue_status() および purge_local_results('all') のチェックと比較します。報告された完了タスクの状態と purge 操作が一致するか、issue に残っている制限が明確に記載されていれば完了です。ファイル名もテスト名も指定されていません。
索引モデルが issue の本文から書いたものです。
説明
I want to purge_everything or purge_local_results but I'm getting RuntimeError: Can't purge outstanding tasks: ...
The reason I want to purge is that after a couple of tasks my engines memory seems to get full and slows down the process. I'm trying to figure out if it's a memory issue related to ipyparallel or something related to the tasks.
Here is a rough sketch of what I'm doing:
do some setup:
from ipyparallel import Client, Reference
rc = Client(client_args, client_kwargs)
view = rc.broadcast_view(view_args, view_kwargs)
view.is_coalescing = False
view.apply_sync( # do some setup stuff )
then:
ar = view.apply( # do the real work, and pickle it)
fvs = np.array(sum([pickle.loads(fv) for fv in ar.get()],[]))
view.client.purge_local_results('all') # this says there are outstanding tasks
view.client.queue_status() # this says all tasks are complete
- 主要言語
- Jupyter Notebook
- スター
- 2.6k
- フォーク
- 1k
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ipython/ipyparallel のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
ipython/ipyparallel#1029 · コメント 9 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
ipython/ipyparallel#984 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
ipython/ipyparallel#937 · コメント 4 件 ·
-
question
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
ipython/ipyparallel#897 · コメント 12 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
ipython/ipyparallel#851 · コメント 1 件 ·
ipython/ipyparallel の issue をすべて見る
似ている issue
-
bug customer-eng Durable Agents Inngest status: needs triage
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
ai_reviewed
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ydb-platform/ydb#53838 · コメント 3 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
NovaSky-AI/SkyRL#2263 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
johanhaleby/occurrent#1106 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100