[Feature] Can work on Depth map from Depth Camera?

(2 commentaires) (0 réaction) (1 personne assignée)Python (1 137 forks)batch import

good first issue

Métriques du dépôt

Stars: (3 648 étoiles)
Métriques de merge PR: (Métriques PR en attente)

Description

What is the problem this feature will solve?

MMAction2 is so perfect to predict the kone points and the person position. But the kone points detection method for Depth Camera is not good so that i can't wholly trust the result of the old method like Kinect. I want MMAction2 to work on Depth Camera.

What is the feature?

Consider Depth map and RGB photo as input to detect kone point and person.

What alternatives have you considered?

No response

Guide contributeur

Direction de recherche: Tout d'abord, examinez comment MMAction2 traite les images RVB pour la détection de points clés dans les configurations et modèles (par exemple, configs/detection/). Ensuite, recherchez des méthodes pour fusionner les cartes de profondeur avec le RVB, comme l'ajout d'un canal de profondeur ou l'utilisation d'un flux séparé. Modifiez le pipeline de données (par exemple, mmaction/datasets/pipelines/) et la méthode forward du modèle pour accepter les cartes de profondeur. Validez avec des ensembles de données de caméra de profondeur comme NYU Depth V2 ou des données Kinect personnalisées.
Stack technique: python
Domaine: backend
Type d'issue: Fonctionnalité
Difficulté: 4
Temps estimé: 3-5 jours
Statut d'activité: Active
Clarté: Plutôt claire
Prérequis: GitPython
Accessibilité débutant: 60