Outstanding task on client but hub says completed when using broadcast view
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- jupyter, numpy, python
- Domaine
- distributed-systems
Piste de recherche
Commencez par le workflow broadcast_view et apply présenté dans le rapport, puis comparez la fin de ar.get() avec queue_status() et la vérification de purge_local_results('all'). C’est terminé lorsque l’état de la tâche terminée indiqué et l’opération de purge concordent, ou lorsque l’issue documente clairement la limitation restante. Aucun fichier ni test n’est nommé.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
I want to purge_everything or purge_local_results but I'm getting RuntimeError: Can't purge outstanding tasks: ...
The reason I want to purge is that after a couple of tasks my engines memory seems to get full and slows down the process. I'm trying to figure out if it's a memory issue related to ipyparallel or something related to the tasks.
Here is a rough sketch of what I'm doing:
do some setup:
from ipyparallel import Client, Reference
rc = Client(client_args, client_kwargs)
view = rc.broadcast_view(view_args, view_kwargs)
view.is_coalescing = False
view.apply_sync( # do some setup stuff )
then:
ar = view.apply( # do the real work, and pickle it)
fvs = np.array(sum([pickle.loads(fv) for fv in ar.get()],[]))
view.client.purge_local_results('all') # this says there are outstanding tasks
view.client.queue_status() # this says all tasks are complete
- Langage dominant
- Jupyter Notebook
- Étoiles
- 2.6k
- Forks
- 1k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ipython/ipyparallel
-
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
ipython/ipyparallel#1029 · 9 commentaires ·
-
pidigits example website is goneOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 35/100
ipython/ipyparallel#984 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
ipython/ipyparallel#937 · 4 commentaires ·
-
Packages and definitions loaded in the regular kernel are not known by engines and vice versaOuvertequestion
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
ipython/ipyparallel#897 · 12 commentaires ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
ipython/ipyparallel#851 · 1 commentaire ·
Toutes les issues de ipython/ipyparallel
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
meta-pytorch/torchft#362 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
benbjohnson/litestream#1545 ·
Les mainteneurs répondent en général sous 3 jours
-
MQTT
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
kedacore/keda#8236 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
bug language::rust router
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
Les mainteneurs répondent en général sous 1 jour