Enhancement: allow iterating signals in chunks of dataframes
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 30/100
Línea de trabajo
Comienza con la implementación de to_dataframe() introducida en el pull request 380 y revisa cómo carga actualmente las señales de forma de onda. Define un enfoque para el procesamiento lazy y por bloques de dataframes que evite cargar la señal completa en memoria; se considera terminado cuando los registros grandes, como los de MIMIC-III, puedan procesarse en partes del tamaño de la memoria.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I'm using the new to_dataframe() function that was implemented in https://github.com/MIT-LCP/wfdb-python/pull/380
One issue that I'm seeing is that when loading some of the waveform signals from https://physionet.org/content/mimic3wdb-matched/1.0/ using to_dataframe() it eats up a lot of memory. Specifically, on the machine I'm running on which has 96gb of memory, reading the record and calling to_dataframe runs out of memory.
I would like to lazy load the signal data into a chunked dataframe which would allow me to process the waveform signals in parts that could fit into memory, rather than loading it all into memory.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 853
- Forks
- 322
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de MIT-LCP/wfdb-python
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
MIT-LCP/wfdb-python#568 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
MIT-LCP/wfdb-python#557 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 58/100
MIT-LCP/wfdb-python#554 ·
-
WFDB path ignored Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
MIT-LCP/wfdb-python#545 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
MIT-LCP/wfdb-python#540 ·
Todos los issues de MIT-LCP/wfdb-python
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
robjhyndman/forecast#1220 ·
-
Add: New Channel Abiertochannels:add check:passed
Dificultad 1/5 Menos de una hora Aptitud para principiantes 95/100
-
good first issue help wanted NLnet
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
collective/icalendar#1819 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
confluentinc/dbt-confluent#160 ·
-
inceleme-kuyrugu
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Greater-Turkiye/platform#107 ·