map_sync with pandas operation function does not finish.
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- jupyter, numpy, pandas, python
- Lĩnh vực
- data, distributed-systems
Hướng nghiên cứu
Bắt đầu với bản tái hiện trên Windows đã được cung cấp bằng cách sử dụng map_sync của ipyparallel, 40 sub-dataframes và thao tác groupby/apply của pandas; kiểm tra đầu ra của client và worker khi quá trình xử lý dừng lại sau khoảng 10 dataframe đích. Issue được hoàn tất khi xác định được nguyên nhân của map_sync không hoàn chỉnh và ghi lại một bản sửa có thể tái hiện hoặc một giới hạn đã được xác nhận.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Map_sync with pandas operation function does not finish.
I have very long dataframe. So I split the dataframe into 40 sub-dataframes, and apply pandas operation to 40 sub-dataframes parallelly by using map_sync. The pandas operation is just about groupby and apply.
My code is like this:
PEN = 40
dfs = np.array_split(target_df, PEN)
c = ipp.Cluster(n=PEN)
with c as rc:
e_all = rc[:]
results = e_all.map_sync(FUCTION, dfs)
results
I have 30 target_dfs. For the first 10 target dfs map_sync worked fine. But after that map_sync didn't complete.
I have found that without parallelism, the pandas job applied to target_df completes in under 2 hours.
I use window os and Ipyparallel version is the lastest.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 2.6k
- Fork
- 1k
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ipython/ipyparallel
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
ipython/ipyparallel#1029 · 9 bình luận ·
-
pidigits example website is gone Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100
ipython/ipyparallel#984 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
ipython/ipyparallel#937 · 4 bình luận ·
-
Packages and definitions loaded in the regular kernel are not known by engines and vice versa Đang mởquestion
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
ipython/ipyparallel#897 · 12 bình luận ·
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
ipython/ipyparallel#882 ·
Tất cả issue của ipython/ipyparallel
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
TauricResearch/TradingAgents#1397 ·
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
TencentCloud/Octop#1085 · 1 bình luận ·
-
Sandy macrofaunal assemblages adjacent to rocky reefs on São Miguel Island (Azores, NE Atlantic) Đang mởdataset
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 80/100
iobis/obis-network-datasets#909 ·
-
Copy cohorts to keep old cohorts Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
OHDSI/CohortConstructor#774 ·