Video Processing API - processing inside docker on Jetson is noticeably slower than bare-metal

Aperta
  • Qualcosa non va?
#687 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
docker, python
Ambito
computer-vision, devops, performance

Direzione di ricerca

Inizia da inference/core/interfaces/stream/model_handlers/workflows.py e dal percorso WorkflowRunner.run_workflow(...), quindi riproduci il confronto della latenza di un singolo frame su Jetson Nano Orin con JetPack 5.1.1 in ambienti bare-metal e Docker. Il lavoro è completato quando il rallentamento del container è spiegato e le prestazioni di elaborazione sono migliorate, oppure quando la limitazione rilevante è documentata con risultati misurati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug Video Management API issues
Search before asking
  • I have searched the Inference issues and found no similar bug report.
Bug

The same workflow tested, reporting only latency for single frame processing inside WorkflowRunner.run_workflow(...) function:

Jetson Nano Orin, bare metal in script using InferencePipeline directly - not measured precisely now, but older tests indicated the same performance as on MacBook when yolov8n-640 used - which was the model used in test case
Jetson Nano Orin, inside docker container, behind API - ~50ms
We have docker overhead, not 100% sure if it is visible on Jetson devices, but MacBook one makes drop from 27fps into <10fps 😢

Also measured that running 2 streams at the time gives over 30FPS in total so the compute is there, but something makes the pipeline slower than potentially could be inside Jetson Docker

Environment

Jetson Nano Orin, Jetpack 5.1.1

Minimal Reproducible Example

No response

Additional

No response

Are you willing to submit a PR?
  • Yes I'd like to help by submitting a PR!
Lingua principale
Python
Stelle
2.5k
Fork
340
Merge medio
2g 11h
PR unite (30g)
92

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di roboflow/inference

Tutte le issue di roboflow/inference

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.