Enhancement: allow iterating signals in chunks of dataframes
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 30/100
Piste de recherche
Commencez par l’implémentation de to_dataframe() introduite dans la pull request 380 et examinez comment elle charge actuellement les signaux de forme d’onde. Définissez une approche de traitement différé et par morceaux des dataframes qui évite de charger le signal complet en mémoire ; le travail est considéré comme terminé lorsque de grands enregistrements, comme ceux de MIMIC-III, peuvent être traités par portions de taille adaptée à la mémoire.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
I'm using the new to_dataframe() function that was implemented in https://github.com/MIT-LCP/wfdb-python/pull/380
One issue that I'm seeing is that when loading some of the waveform signals from https://physionet.org/content/mimic3wdb-matched/1.0/ using to_dataframe() it eats up a lot of memory. Specifically, on the machine I'm running on which has 96gb of memory, reading the record and calling to_dataframe runs out of memory.
I would like to lazy load the signal data into a chunked dataframe which would allow me to process the waveform signals in parts that could fit into memory, rather than loading it all into memory.
- Langage dominant
- Jupyter Notebook
- Étoiles
- 853
- Forks
- 323
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de MIT-LCP/wfdb-python
-
`find_local_peaks` ignores the sample at `i + radius`, so points on a rising slope are returned as peaksPeut-être pris @rmz-oz l’a pris il y a 8 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
MIT-LCP/wfdb-python#572 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 45/100
MIT-LCP/wfdb-python#568 ·
-
Add validation of segments when writing a `MultiRecord`Peut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 48/100
MIT-LCP/wfdb-python#557 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 58/100
MIT-LCP/wfdb-python#554 ·
-
WFDB path ignoredOuverte
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
MIT-LCP/wfdb-python#545 ·
Toutes les issues de MIT-LCP/wfdb-python
Issues similaires
-
Add: MBC 3Ouvertecheck:passed streams:add
Difficulté 1/5 Moins d'une heure Accessibilité débutants 62/100
Les mainteneurs répondent en général sous 2 jours
-
request-theme
Difficulté 2/5 Moins d'une heure Accessibilité débutants 70/100
LizardByte/ThemerrDB#8877 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
deepset-ai/haystack#13199 ·
Les mainteneurs répondent en général sous 1 jour
-
[BUG] JSONLoader rejects valid UTF-8 BOM filesPeut-être pris @zouyonghe l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour