facebookresearch/labgraph

Real-time hand tracking using WebCam

Aberta

#89 aberto em 26 de ago. de 2022

Ver no GitHubGuia do colaborador
 (0 comentário) (0 reação) (0 responsável)Python (46 forks)auto 404
good first issue

Métricas do repositório

Stars
 (165 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

🚀 Feature

Hand tracking enables the use of hands as an input method for AR/VR applications. When using hands as input modality, it delivers a new sense of presence, enhances social engagement, and delivers more natural interactions with fully tracked hands and articulated fingers.

MediaPipe can be used for real-time hand tracking. LabGraph can be used to record the data captured from a webcam. It could also be extended to other downstream applications.

This task is to use MediaPipe for real-time hand tracking and labgraph for data logging (hdf5 format).

Additional context

  1. MediaPipe can be found [here] (https://google.github.io/mediapipe/solutions/hands)
  2. The code should be added at folder is https://github.com/facebookresearch/labgraph/tree/main/devices/webcam/
  3. Create setup.py and README.md, where example can be found at: https://github.com/facebookresearch/labgraph/tree/main/extensions/labgraph_viz
  4. Add github action support, reference: https://github.com/facebookresearch/labgraph/actions/workflows/main.yml
  5. Add proper license header.

Guia do colaborador

Direção de pesquisa
Instale o MediaPipe e o LabGraph. Siga o exemplo no diretório webcam para criar um novo nó que integre o rastreamento de mãos do MediaPipe. Consulte a documentação do MediaPipe para detecção de pontos de referência das mãos e a documentação do LabGraph para criar nós e registrar dados em HDF5. Além disso, crie setup.py e README.md conforme o exemplo do labgraph viz e adicione um workflow do GitHub Actions adaptando o main.yml existente.
Pilha de tecnologia
python
Domain
computer visionbackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGitMediaPipe
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70