facebookresearch/maskrcnn-benchmark

Inference time increases linearly with batch size

Aperta

#294 aperta il 20 dic 2018

Vedi su GitHubGuida contributor
 (8 commenti) (2 reazioni) (0 assegnatari)Python (2574 fork)batch import
help wanted

Metriche repository

Star
 (9161 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

❓ Questions and Help

I tested the batch inference，this is result batch size time 1 0.22 2 0.42 4 0.84 6 1.2 8 crash OOM Why big batchsize doesn't save time?

Guida contributor

Direzione di ricerca
Indaga sul motivo per cui la dimensione del batch non riduce il tempo di inferenza per campione. Esamina il codice di elaborazione batch in maskrcnn benchmark/modeling/detector e verifica la presenza di colli di bottiglia di memoria o elaborazione sequenziale. Considera l'utilizzo della GPU e potenziali problemi di OOM. Rivedi i commenti nell'issue per ulteriore contesto.
Tech stack
pythonpytorch
Dominio
machine learningaiperformance
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65