facebookresearch/maskrcnn-benchmark

Half/mixed-precision is not faster

Aperta

#1062 aperta il 27 ago 2019

Vedi su GitHubGuida contributor
 (3 commenti) (0 reazioni) (0 assegnatari)Python (2574 fork)batch import
help wanted

Metriche repository

Star
 (9161 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

❓ Questions and Help

As written in https://github.com/facebookresearch/maskrcnn-benchmark/issues/807#issuecomment-500112612 , DTYPE "float16" does not make training faster( and takes the same amount of memory) when tested with e2e_mask_rcnn_R_50_FPN_1x.yaml. Is this normal or am I doing something wrong? I also want to know if I can make inference faster by FP16(I tried model.half() in test_net, but doesn't work).
My environment is RTX Titan, cudnn 7.6, cuda10.0, driver version Driver Version: 418.67, pytorch-1.2.0, ubuntu 18.04.

Guida contributor

Direzione di ricerca
Profilare il modello con precisione mista usando il profiler di PyTorch e confrontare i tempi forward/backward con float32. Verificare se cuDNN supporta float16 su RTX Titan e se i tensor core vengono utilizzati. Inoltre, verificare che model.half() converta correttamente tutti i layer.
Tech stack
pythonpytorch
Dominio
aimachine learningperformance
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60