Enhancement: allow iterating signals in chunks of dataframes
まだ誰も着手していません。
評価
調査の方向性
pull request 380 で導入された to_dataframe() の実装から始め、現在どのように波形信号を読み込んでいるかを確認します。信号全体をメモリに読み込まずに済む、遅延評価によるチャンク単位のデータフレーム処理のアプローチを定義します。MIMIC-III のもののような大きなレコードを、メモリに収まるサイズの部分に分けて処理できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
I'm using the new to_dataframe() function that was implemented in https://github.com/MIT-LCP/wfdb-python/pull/380
One issue that I'm seeing is that when loading some of the waveform signals from https://physionet.org/content/mimic3wdb-matched/1.0/ using to_dataframe() it eats up a lot of memory. Specifically, on the machine I'm running on which has 96gb of memory, reading the record and calling to_dataframe runs out of memory.
I would like to lazy load the signal data into a chunked dataframe which would allow me to process the waveform signals in parts that could fit into memory, rather than loading it all into memory.
- 主要言語
- Jupyter Notebook
- スター
- 853
- フォーク
- 322
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
MIT-LCP/wfdb-python のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
MIT-LCP/wfdb-python#568 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 48/100
MIT-LCP/wfdb-python#557 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 58/100
MIT-LCP/wfdb-python#554 ·
-
WFDB path ignored オープン
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
MIT-LCP/wfdb-python#545 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
MIT-LCP/wfdb-python#540 ·
MIT-LCP/wfdb-python の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
robjhyndman/forecast#1220 ·
-
Add: New Channel オープンchannels:add check:passed
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
-
good first issue help wanted NLnet
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
collective/icalendar#1819 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
confluentinc/dbt-confluent#160 ·
-
inceleme-kuyrugu
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Greater-Turkiye/platform#107 ·