Multi-gpu processing on tch branch of Modkit
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- rust
- Área
- cli, hpc, machine-learning
Línea de trabajo
Start on the tch branch at the modkit open-chromatin predict entry point and trace how the --device value selects CUDA devices. Determine how multi-GPU processing should use devices 0, 1, 2, and 3 while preserving the current single-device mode. Done means prediction can use all available GPUs as requested and the existing command still works with one device.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi team
Thanks for modkit. I'm using it to predict open-chromatin. The tch branch of it is indeed very fast on our HPC compared to the CPU only version - but the limitation is only one GPU can be specified instead of using all. For instance - I have a gpu node with 4 x A100 available presented as CUDA devices 0,1,2,3. It would be great if it could use all devices similar to dorado.
For others looking to set this up on a HPC to overcome a lot of GCC issues and torch and having to recompile I downloaded a suitable apptainer image by:
apptainer pull docker://nvidia/cuda:12.6.1-cudnn-runtime-ubuntu24.04
and then ran modkit within the apptainer image which solved a lot of the issues:
apptainer exec --nv --env LD_LIBRARY_PATH=/rds/homes/b/beggsa/beggsa-clinicalnanopore/software/modkit-gpu/libtorch/lib /rds/projects/b/beggsa-clinicalnanopore/software/modkit-gpu/cuda_12.6.1-cudnn-runtime-ubuntu24.04.sif bash -c '/rds/homes/b/beggsa/beggsa-clinicalnanopore/software/modkit-gpu/modkit open-chromatin predict germline_temp6mA.bam --model /rds/projects/b/beggsa-clinicalnanopore/software/modkit/models/r1041_e82_400bps_hac_v5.2.0\@v0.1.0/ --log modkit_predict.log -o ./accessible_regions.bedgraph --threshold 0.8 --device 0'
- Lenguaje dominante
- Rust
- Estrellas
- 280
- Forks
- 35
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de nanoporetech/modkit
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
nanoporetech/modkit#520 · 2 comentarios ·
-
Samtools code for modkit repairAbiertodocumentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 65/100
nanoporetech/modkit#336 · 1 comentario ·
-
troubleshooting
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
nanoporetech/modkit#728 · 1 comentario ·
-
bug troubleshooting
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
nanoporetech/modkit#726 · 2 comentarios ·
-
question
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
nanoporetech/modkit#725 · 1 comentario ·
Todos los issues de nanoporetech/modkit
Issues similares
-
Update webpki-root-certsAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
rustls/rustls-platform-verifier#262 · 2 comentarios · 2 reacciones ·
-
needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
bherbruck/solvecraft#4493 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
IngvarConsulting/unica#1911 ·
Los mantenedores suelen responder en 1 día