Outstanding task on client but hub says completed when using broadcast view
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Bug
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- jupyter, numpy, python
- Bereich
- distributed-systems
Rechercherichtung
Beginne mit dem im Bericht gezeigten broadcast_view- und apply-Workflow und vergleiche dann den Abschluss von ar.get() mit queue_status() und der Prüfung purge_local_results('all'). Als erledigt gilt die Aufgabe, wenn der gemeldete Status der abgeschlossenen Aufgabe und der purge-Vorgang übereinstimmen oder das Issue die verbleibende Einschränkung eindeutig dokumentiert. Es wird keine Datei oder kein Test genannt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
I want to purge_everything or purge_local_results but I'm getting RuntimeError: Can't purge outstanding tasks: ...
The reason I want to purge is that after a couple of tasks my engines memory seems to get full and slows down the process. I'm trying to figure out if it's a memory issue related to ipyparallel or something related to the tasks.
Here is a rough sketch of what I'm doing:
do some setup:
from ipyparallel import Client, Reference
rc = Client(client_args, client_kwargs)
view = rc.broadcast_view(view_args, view_kwargs)
view.is_coalescing = False
view.apply_sync( # do some setup stuff )
then:
ar = view.apply( # do the real work, and pickle it)
fvs = np.array(sum([pickle.loads(fv) for fv in ar.get()],[]))
view.client.purge_local_results('all') # this says there are outstanding tasks
view.client.queue_status() # this says all tasks are complete
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 2.6k
- Forks
- 1k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus ipython/ipyparallel
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100
ipython/ipyparallel#1029 · 9 Kommentare ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 35/100
ipython/ipyparallel#984 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
ipython/ipyparallel#937 · 4 Kommentare ·
-
question
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
ipython/ipyparallel#897 · 12 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
ipython/ipyparallel#851 · 1 Kommentar ·
Alle Issues in ipython/ipyparallel
Ähnliche Issues
-
bug language::rust router
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
Maintainer antworten meist innerhalb von 1 Tag
-
area/topics mute
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
ydb-platform/ydb#54664 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
DEV: backend P0 - critical TAG: tech update / debt TAG: unit tests
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
learningequality/morango#364 ·
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 90/100
Maintainer antworten meist innerhalb von 1 Tag