Enhancement: allow iterating signals in chunks of dataframes
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 30/100
Hướng nghiên cứu
Bắt đầu với phần triển khai to_dataframe() được giới thiệu trong pull request 380 và xem xét cách phần này hiện tải các tín hiệu dạng sóng. Xác định một phương pháp xử lý dataframe theo kiểu lazy và theo từng chunk, tránh tải toàn bộ tín hiệu vào bộ nhớ; được xem là hoàn thành khi các bản ghi lớn như những bản ghi từ MIMIC-III có thể được xử lý thành các phần vừa với bộ nhớ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I'm using the new to_dataframe() function that was implemented in https://github.com/MIT-LCP/wfdb-python/pull/380
One issue that I'm seeing is that when loading some of the waveform signals from https://physionet.org/content/mimic3wdb-matched/1.0/ using to_dataframe() it eats up a lot of memory. Specifically, on the machine I'm running on which has 96gb of memory, reading the record and calling to_dataframe runs out of memory.
I would like to lazy load the signal data into a chunked dataframe which would allow me to process the waveform signals in parts that could fit into memory, rather than loading it all into memory.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 853
- Fork
- 322
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của MIT-LCP/wfdb-python
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
MIT-LCP/wfdb-python#568 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
MIT-LCP/wfdb-python#557 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 58/100
MIT-LCP/wfdb-python#554 ·
-
WFDB path ignored Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
MIT-LCP/wfdb-python#545 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
MIT-LCP/wfdb-python#540 ·
Tất cả issue của MIT-LCP/wfdb-python
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
TauricResearch/TradingAgents#1397 ·
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
TencentCloud/Octop#1085 · 1 bình luận ·
-
Sandy macrofaunal assemblages adjacent to rocky reefs on São Miguel Island (Azores, NE Atlantic) Đang mởdataset
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 80/100
iobis/obis-network-datasets#909 ·
-
Copy cohorts to keep old cohorts Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
OHDSI/CohortConstructor#774 ·