facebookresearch/maskrcnn-benchmark

why only one gpu be used when I launch mutil gpu train?

Open

#325 aperta il 8 gen 2019

Vedi su GitHub
 (10 commenti) (0 reazioni) (0 assegnatari)Python (2574 fork)batch import
awaiting responsehelp wanted

Metriche repository

Star
 (9161 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

❓ Questions and Help

when I launch multi gpu train use this command:

python -m torch.distributed.launch --nproc_per_node=2 /path_to_maskrcnn_benchmark/tools/train_net.py --config-file "path/to/config/file.yaml"

and it's run in docker container env, there are have two p40 in docker, but it seems that only one GPU is being used. image

and there are actually two processes running image

What could be the reason?

Guida contributor

Direzione di ricerca
Controlla la visibilità della GPU del container Docker con 'nvidia smi'. Assicurati che CUDA VISIBLE DEVICES includa entrambe le GPU. Verifica l'inizializzazione del gruppo di processi distribuiti e l'uso del backend NCCL.
Tech stack
pythonpytorch
Dominio
machine learningbackend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PyTorchDocker
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30