open-mmlab/mmaction2

[Feature] Can work on Depth map from Depth Camera?

Aperta

#2566 aperta il 27 giu 2023

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Python (1137 fork)batch import
good first issue

Metriche repository

Star
 (3648 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

What is the problem this feature will solve?

MMAction2 is so perfect to predict the kone points and the person position. But the kone points detection method for Depth Camera is not good so that i can't wholly trust the result of the old method like Kinect. I want MMAction2 to work on Depth Camera.

What is the feature?

Consider Depth map and RGB photo as input to detect kone point and person.

What alternatives have you considered?

No response

Guida contributor

Direzione di ricerca
Innanzitutto, esamina come MMAction2 gestisce i frame RGB per il rilevamento dei keypoint nei file di configurazione e nei modelli (ad es., configs/detection/). Quindi, ricerca metodi per fondere le mappe di profondità con l'RGB, come aggiungere un canale di profondità o utilizzare un flusso separato. Modifica la pipeline dei dati (ad es., mmaction/datasets/pipelines/) e il metodo forward del modello per accettare mappe di profondità. Convalida con dataset di telecamere di profondità come NYU Depth V2 o dati Kinect personalizzati.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60