sign/translate

[Feature] Add rule based 3D avatar control

Aperta

#121 aperta il 26 nov 2023

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)TypeScript (164 fork)auto 404
enhancementhelp wantedspoken-to-signed

Metriche repository

Star
 (777 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Problem

Our 3D avatar control can currently only control Mixamo avatars, and does so very poorly. Controlling more general avatars (especially with faces) is necessary.

Description

We should add a rule-based 3D avatar solver such as https://github.com/yeemachine/kalidokit to be solve the avatar positions from the mediapipe poses directly.

Alternatives

Neural-network only approach. This will require training a better avatar model.

Guida contributor

Direzione di ricerca
Comprendi l'attuale sistema di controllo dell'avatar e integra Kalidokit con i landmark di MediaPipe per guidare un avatar 3D per la lingua dei segni.
Tech stack
typescript
Dominio
frontendcomputer graphics
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60