Outstanding task on client but hub says completed when using broadcast view
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- jupyter, numpy, python
- Ambito
- distributed-systems
Direzione di ricerca
Inizia con il workflow broadcast_view e apply mostrato nel report, quindi confronta il completamento di ar.get() con queue_status() e il controllo purge_local_results('all'). È fatto quando lo stato dell’attività completata riportato e l’operazione di purge concordano, oppure quando l’issue documenta chiaramente la limitazione rimanente. Non viene indicato alcun file o test.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I want to purge_everything or purge_local_results but I'm getting RuntimeError: Can't purge outstanding tasks: ...
The reason I want to purge is that after a couple of tasks my engines memory seems to get full and slows down the process. I'm trying to figure out if it's a memory issue related to ipyparallel or something related to the tasks.
Here is a rough sketch of what I'm doing:
do some setup:
from ipyparallel import Client, Reference
rc = Client(client_args, client_kwargs)
view = rc.broadcast_view(view_args, view_kwargs)
view.is_coalescing = False
view.apply_sync( # do some setup stuff )
then:
ar = view.apply( # do the real work, and pickle it)
fvs = np.array(sum([pickle.loads(fv) for fv in ar.get()],[]))
view.client.purge_local_results('all') # this says there are outstanding tasks
view.client.queue_status() # this says all tasks are complete
- Lingua principale
- Jupyter Notebook
- Stelle
- 2.6k
- Fork
- 1k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ipython/ipyparallel
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
ipython/ipyparallel#1029 · 9 commenti ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
ipython/ipyparallel#984 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
ipython/ipyparallel#937 · 4 commenti ·
-
Packages and definitions loaded in the regular kernel are not known by engines and vice versa Apertaquestion
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
ipython/ipyparallel#897 · 12 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
ipython/ipyparallel#851 · 1 commento ·
Tutte le issue di ipython/ipyparallel
Issue simili
-
bug customer-eng Durable Agents Inngest status: needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
bug
Difficoltà 1/5 1-3 ore Idoneità per principianti 88/100
-
bug 🐞 grids 🗺️
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
CliMA/Oceananigans.jl#6052 · 1 commento · 1 reazione ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
huggingface/accelerate#4306 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100