Outstanding task on client but hub says completed when using broadcast view

Đang mở
#882 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
jupyter, numpy, python
Lĩnh vực
distributed-systems

Hướng nghiên cứu

Bắt đầu với quy trình broadcast_view và apply được nêu trong báo cáo, sau đó so sánh trạng thái hoàn tất của ar.get() với queue_status() và bước kiểm tra purge_local_results('all'). Được xem là hoàn tất khi trạng thái tác vụ đã hoàn tất được báo cáo và thao tác purge khớp nhau, hoặc issue ghi rõ giới hạn còn lại. Không có tệp hoặc bài kiểm thử nào được nêu tên.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

I want to purge_everything or purge_local_results but I'm getting RuntimeError: Can't purge outstanding tasks: ...
The reason I want to purge is that after a couple of tasks my engines memory seems to get full and slows down the process. I'm trying to figure out if it's a memory issue related to ipyparallel or something related to the tasks.

Here is a rough sketch of what I'm doing:

do some setup:

  from ipyparallel import Client, Reference
  rc = Client(client_args, client_kwargs)
  view = rc.broadcast_view(view_args, view_kwargs)
  view.is_coalescing = False
  view.apply_sync( # do some setup stuff )

then:

  ar  = view.apply( # do the real work, and pickle it)
  fvs = np.array(sum([pickle.loads(fv) for fv in ar.get()],[]))

  view.client.purge_local_results('all') # this says there are outstanding tasks
  view.client.queue_status() # this says all tasks are complete
Ngôn ngữ chính
Jupyter Notebook
Star
2.6k
Fork
1k
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ipython/ipyparallel

Tất cả issue của ipython/ipyparallel

Issue tương tự

Thêm issue về Distributed Systems

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.