Spoken translation through the glasses speaker
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 22/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Área
- embedded-iot, frontend, machine-learning
Línea de trabajo
Start with the voice pipeline in sentient/voice/stt.py, sentient/voice/tts.py and sentient/voice/session.py, then the audio output in firmware/esp32s3-glasses/main/audio.c and the phone captions under sentient/nodes/web/. The issue does not pick a translation model, so that choice needs a maintainer decision first. Done means speech in one language is spoken back in another through the glasses within a few seconds, and captions appear on the phone.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Even G2 has no speaker, so it cannot voice translations, and its accuracy drops in noise. On Meta's Display glasses translation is praised but reviews vary. Quality from 8B general models is the main risk.
Idea: Live translation using a dedicated local MT or Whisper-translate model, spoken through the glasses' MAX98357A speaker, with captions on the phone.
Status in Sentient today: New.
Where: sentient/voice/stt.py and sentient/voice/tts.py, a translation mode in sentient/voice/session.py, audio out in firmware/esp32s3-glasses/main/audio.c, captions in the phone web app under sentient/nodes/web/.
Done when:
- speech in one language is spoken back in another through the glasses within a few seconds
- captions appear on the phone
Sources:
- https://dymesty.com/blogs/articles/even-realities-g2-review
- https://www.uploadvr.com/meta-ray-ban-display-review/
- https://gizmodo.com/meta-ray-ban-display-smart-glasses-review-is-this-the-future-we-really-want-2000679520
Roadmap ID: VOICE-5 · Priority: P2 · Size: M
- Lenguaje dominante
- Python
- Estrellas
- 702
- Forks
- 113
- Merge medio
- 5 h 8 min
- PR fusionados (30 d)
- 171
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de existence-master/Sentient
-
area: channels enhancement good first issue priority: P2 size: S
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
existence-master/Sentient#457 ·
Los mantenedores suelen responder en 1 día
-
area: desktop bug good first issue priority: P2 size: S
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
existence-master/Sentient#454 ·
Los mantenedores suelen responder en 1 día
-
area: desktop bug priority: P2 size: S
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
existence-master/Sentient#440 ·
Los mantenedores suelen responder en 1 día
-
area: desktop bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
existence-master/Sentient#426 ·
Los mantenedores suelen responder en 1 día
-
area: memory bug flaky
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
existence-master/Sentient#422 ·
Los mantenedores suelen responder en 1 día
Todos los issues de existence-master/Sentient
Issues similares
-
Pull-through from gcr.io returns 500 when pulling using podman/buildahPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. AbiertoIssue Triage-Needed
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
pulp/pulp_container#2581 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
521xueweihan/HelloGitHub#4040 ·
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 64/100
ClanGenOfficial/clangen#6313 ·
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
bug(trainer): CustomTrainer func_args with non literal values fail inside the TrainJobPosiblemente ocupada @avanishkasar la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
kubeflow/sdk#879 · 1 comentario ·
Los mantenedores suelen responder en 1 día