Memory Exception When Merging Large Volumes of Waveform Data Files Using wrdb.wrsamp()
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- data-engineering
Línea de trabajo
Comience reproduciendo la excepción de memoria reportada con wrdb.wrsamp() en varios archivos .dat e inspeccione cómo el flujo actual de lectura, combinación y escritura gestiona los arrays. Se considera completado establecer si se admite la escritura incremental e identificar la implementación y la prueba de regresión necesarias si no es así; el issue no menciona archivos ni pruebas.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I'm trying to merge multiple waveform data (.dat) files into a single file. I'm using the wrdb.wrsamp() function for this task. The total number of files is approximately 10,000 and each one has 3 channels. I've tried several times, but every attempt results in a memory exception, requiring more than 40GB of memory. I'm unsure if I am doing something incorrect.
I've been unable to find a method to write the files incrementally. My current approach is to read each sample, combine all signals into an array, and write them. While this works fine with a small number of files, I'm having difficulties when it comes to larger datasets. Each file contains over 6 minutes of data.
Any assistance insights or suggestions on this matter would be highly appreciated.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 853
- Forks
- 322
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de MIT-LCP/wfdb-python
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
MIT-LCP/wfdb-python#568 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 48/100
MIT-LCP/wfdb-python#557 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 58/100
MIT-LCP/wfdb-python#554 ·
-
WFDB path ignored Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
MIT-LCP/wfdb-python#545 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
MIT-LCP/wfdb-python#540 ·
Todos los issues de MIT-LCP/wfdb-python
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Add: Arena Sport Premium M3 Abiertochannels:add check:passed
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
avniproject/avni-webapp#1811 ·
-
inceleme-kuyrugu
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Greater-Turkiye/platform#114 ·
-
bug triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
ultralytics/ultralytics#26305 · 1 comentario ·