Static memory used by engines

Đang mở
#694 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
jupyter, python
Lĩnh vực
distributed-systems, performance

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện thiết lập đã được báo cáo: khởi chạy 16 engine trên hai node và so sánh bộ nhớ cơ sở của mỗi node với bộ nhớ của nó sau khi khởi động, sử dụng htop như mô tả. Tách mức sử dụng của các tiến trình engine và nanny, sau đó xác định phần nào chiếm dụng allocation tĩnh của engine. Hoàn tất khi giảm được footprint bộ nhớ nhàn rỗi trên mỗi engine và xác minh thay đổi bằng cùng phép đo.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

It seems like the engines use a lot of "static" memory, i.e. when we start the engines, they take up noticeable memory even when nothing has been executed. In our testing, we started 16 engines across 2 nodes, and as soon as we did, the memory usage on each node went from ~150MB to ~1.2GB, i.e. it seems like 8 engines consume ~1.05GB static memory. This is of course both the engine and nanny process, but based on htop , almost all of it seems to come from the engine process. ~134MB static memory usage per engine seems a bit high. Is there a way we could reduce this?

Ngôn ngữ chính
Jupyter Notebook
Star
2.6k
Fork
1k
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ipython/ipyparallel

Tất cả issue của ipython/ipyparallel

Issue tương tự

Thêm issue về Distributed Systems

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.