facebookresearch/labgraph

Real-time hand tracking using WebCam

Ouverte

#89 ouverte le 26 août 2022

Voir sur GitHubGuide contributeur
 (0 commentaire) (0 réaction) (0 personne assignée)Python (46 forks)auto 404
good first issue

Métriques du dépôt

Stars
 (165 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

🚀 Feature

Hand tracking enables the use of hands as an input method for AR/VR applications. When using hands as input modality, it delivers a new sense of presence, enhances social engagement, and delivers more natural interactions with fully tracked hands and articulated fingers.

MediaPipe can be used for real-time hand tracking. LabGraph can be used to record the data captured from a webcam. It could also be extended to other downstream applications.

This task is to use MediaPipe for real-time hand tracking and labgraph for data logging (hdf5 format).

Additional context

  1. MediaPipe can be found [here] (https://google.github.io/mediapipe/solutions/hands)
  2. The code should be added at folder is https://github.com/facebookresearch/labgraph/tree/main/devices/webcam/
  3. Create setup.py and README.md, where example can be found at: https://github.com/facebookresearch/labgraph/tree/main/extensions/labgraph_viz
  4. Add github action support, reference: https://github.com/facebookresearch/labgraph/actions/workflows/main.yml
  5. Add proper license header.

Guide contributeur

Direction de recherche
Installez MediaPipe et LabGraph. Suivez l'exemple dans le répertoire webcam pour créer un nouveau nœud qui intègre le suivi des mains de MediaPipe. Consultez la documentation MediaPipe pour la détection des points de repère de la main et la documentation LabGraph pour créer des nœuds et enregistrer des données au format HDF5. Créez également setup.py et README.md selon l'exemple de labgraph viz, et ajoutez un workflow GitHub Actions en adaptant le main.yml existant.
Stack technique
python
Domaine
computer visionbackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGitMediaPipe
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70