Multi-gpu processing on tch branch of Modkit
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 48/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- rust
- Ambito
- cli, hpc, machine-learning
Direzione di ricerca
Start on the tch branch at the modkit open-chromatin predict entry point and trace how the --device value selects CUDA devices. Determine how multi-GPU processing should use devices 0, 1, 2, and 3 while preserving the current single-device mode. Done means prediction can use all available GPUs as requested and the existing command still works with one device.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi team
Thanks for modkit. I'm using it to predict open-chromatin. The tch branch of it is indeed very fast on our HPC compared to the CPU only version - but the limitation is only one GPU can be specified instead of using all. For instance - I have a gpu node with 4 x A100 available presented as CUDA devices 0,1,2,3. It would be great if it could use all devices similar to dorado.
For others looking to set this up on a HPC to overcome a lot of GCC issues and torch and having to recompile I downloaded a suitable apptainer image by:
apptainer pull docker://nvidia/cuda:12.6.1-cudnn-runtime-ubuntu24.04
and then ran modkit within the apptainer image which solved a lot of the issues:
apptainer exec --nv --env LD_LIBRARY_PATH=/rds/homes/b/beggsa/beggsa-clinicalnanopore/software/modkit-gpu/libtorch/lib /rds/projects/b/beggsa-clinicalnanopore/software/modkit-gpu/cuda_12.6.1-cudnn-runtime-ubuntu24.04.sif bash -c '/rds/homes/b/beggsa/beggsa-clinicalnanopore/software/modkit-gpu/modkit open-chromatin predict germline_temp6mA.bam --model /rds/projects/b/beggsa-clinicalnanopore/software/modkit/models/r1041_e82_400bps_hac_v5.2.0\@v0.1.0/ --log modkit_predict.log -o ./accessible_regions.bedgraph --threshold 0.8 --device 0'
- Lingua principale
- Rust
- Stelle
- 280
- Fork
- 35
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di nanoporetech/modkit
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
nanoporetech/modkit#520 · 2 commenti ·
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
nanoporetech/modkit#336 · 1 commento ·
-
troubleshooting
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
nanoporetech/modkit#728 · 1 commento ·
-
bug troubleshooting
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
nanoporetech/modkit#726 · 1 commento ·
-
question
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
nanoporetech/modkit#725 · 1 commento ·
Tutte le issue di nanoporetech/modkit
Issue simili
-
proxy: include denial_category in the "proxy request denied" log lineForse già presa @sreyas-endor l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
nolabs-ai/nono#2172 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
metasequoiaime/msime#9113 ·
I maintainer di solito rispondono entro 1 giorno
-
area:desktop priority:p2 type:chore
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
area: supply-chain
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 73/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100