deeplearning4j/deeplearning4j-examples

low FPS when running pretrained TinyYolo on Android

Aperta

#882 aperta il 27 ago 2019

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)Java (1841 fork)batch import
help wantedquestion

Metriche repository

Star
 (2395 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Issue Description

Hi, I am trying to run TinyYOLO object detection in real time on Android. For my inference code block, I am experiencing around 2800ms per inference, which is around 0.5FPS.

Few Methods tried:

  1. Increase android VM Heap size from 256MB to 512MB, memory during app running is floating around 300MB, performance not improved significantly.
  2. thought of using Threading for inference but the prediction will not be synced with the actual frame

Can you share some ideas on how to further improve the inference time?

The objdetection activity code: https://gist.github.com/yptheangel/f1e3c3dfd64c470d151890be00465c7a

Gradle dependecies: https://gist.github.com/yptheangel/6af7ed1febd21b5b4d2339eb8ce985b5

Version Information

Phone: Huawei P9+ OS: Android OS 7. CPU Specs : arm64 Octa-core (4x2.5 GHz Cortex-A72 & 4x1.8 GHz Cortex-A53) Model used : TinyYOLOv2 from DL4J Model zoo (59MB)

Guida contributor

Direzione di ricerca
Profila l'inferenza con Android Profiler per identificare i colli di bottiglia; considera la quantizzazione del modello o l'uso di floating point a mezza precisione; esplora NDK o OpenCL per esecuzioni più veloci; indaga le ottimizzazioni specifiche per Android di DL4J come ModelSerializer o NativeOps.
Tech stack
javaandroid
Dominio
mobile
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaAndroid
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65