Spoken translation through the glasses speaker
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 22/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Ambito
- embedded-iot, frontend, machine-learning
Direzione di ricerca
Start with the voice pipeline in sentient/voice/stt.py, sentient/voice/tts.py and sentient/voice/session.py, then the audio output in firmware/esp32s3-glasses/main/audio.c and the phone captions under sentient/nodes/web/. The issue does not pick a translation model, so that choice needs a maintainer decision first. Done means speech in one language is spoken back in another through the glasses within a few seconds, and captions appear on the phone.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Even G2 has no speaker, so it cannot voice translations, and its accuracy drops in noise. On Meta's Display glasses translation is praised but reviews vary. Quality from 8B general models is the main risk.
Idea: Live translation using a dedicated local MT or Whisper-translate model, spoken through the glasses' MAX98357A speaker, with captions on the phone.
Status in Sentient today: New.
Where: sentient/voice/stt.py and sentient/voice/tts.py, a translation mode in sentient/voice/session.py, audio out in firmware/esp32s3-glasses/main/audio.c, captions in the phone web app under sentient/nodes/web/.
Done when:
- speech in one language is spoken back in another through the glasses within a few seconds
- captions appear on the phone
Sources:
- https://dymesty.com/blogs/articles/even-realities-g2-review
- https://www.uploadvr.com/meta-ray-ban-display-review/
- https://gizmodo.com/meta-ray-ban-display-smart-glasses-review-is-this-the-future-we-really-want-2000679520
Roadmap ID: VOICE-5 · Priority: P2 · Size: M
- Lingua principale
- Python
- Stelle
- 702
- Fork
- 113
- Merge medio
- 5h 8m
- PR unite (30g)
- 171
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di existence-master/Sentient
-
area: channels enhancement good first issue priority: P2 size: S
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
existence-master/Sentient#457 ·
I maintainer di solito rispondono entro 1 giorno
-
area: desktop bug good first issue priority: P2 size: S
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
existence-master/Sentient#454 ·
I maintainer di solito rispondono entro 1 giorno
-
area: desktop bug priority: P2 size: S
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
existence-master/Sentient#440 ·
I maintainer di solito rispondono entro 1 giorno
-
area: desktop bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
existence-master/Sentient#426 ·
I maintainer di solito rispondono entro 1 giorno
-
area: memory bug flaky
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
existence-master/Sentient#422 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di existence-master/Sentient
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
Status: Triaged Type: Enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
canonical/craft-store#448 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
I maintainer di solito rispondono entro 1 giorno
-
good first issue research size:s skill:numerics sub-issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
SKaiNET-developers/SKaiNET#1372 ·
I maintainer di solito rispondono entro 1 giorno
-
debt
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
microsoft/vscode-flake8#601 ·
I maintainer di solito rispondono entro 1 giorno