Voice turn-taking that does not cut you off
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- audio-video-rtc, backend, frontend
Línea de trabajo
Start with the end-of-turn logic in sentient/voice/vad.py and the vad_silence_ms setting in the voice section of sentient/config/schema.py, then trace how sentient/voice/session.py handles barge_in over /ws/voice in sentient/voice/socket.py. Done means pauses shorter than the configured silence keep the turn open, Sentient's own audio does not trigger barge-in, and a per-turn latency value is shown in desktop/src/features/voice/. Scope spans several subsystems and is a bundle of six ideas, so confirm with maintainers which item to take first.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Voice failures are turn-taking failures. Alexa+ treats normal pauses as the end of a turn. Practitioners target under 800 ms end to end and find "not listening" worse than talking over the user. Gemini's redesigned mic "doesn't cut you off mid-thought", and Hermes added streaming STT.
Idea:
- a tunable end-of-turn silence
- echo cancellation so Sentient's own audio does not trigger barge-in
- filtering of backchannels like "mhm"
- streaming transcription
- a latency readout per turn
- typing and talking switch seamlessly in the same thread
Status in Sentient today: Partial. VAD with vad_silence_ms and interruptible /ws/voice with barge_in exist.
Where: sentient/voice/vad.py, sentient/voice/session.py, sentient/voice/stt.py, sentient/voice/socket.py, the voice section of sentient/config/schema.py, and desktop/src/features/voice/.
Done when:
- pauses shorter than the setting do not end the turn
- Sentient's own speech does not trigger barge-in
- backchannels do not interrupt
- latency is shown per turn
Sources:
- https://www.fortune.com/2025/07/26/amazon-alexa-plus-ai-agent-voice-assistant-hands-on-review-compared-chatgpt
- https://picovoice.ai/guide/voice-agents/voice-ux-latency-turn-taking/
- https://blog.google/innovation-and-ai/products/gemini-app/next-evolution-gemini-app/
- https://github.com/NousResearch/hermes-agent/releases
Roadmap ID: VOICE-1 · Priority: P1 · Size: M
- Lenguaje dominante
- Python
- Estrellas
- 710
- Forks
- 125
- Merge medio
- 8 h 8 min
- PR fusionados (30 d)
- 180
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de existence-master/Sentient
-
area: voice bug flaky priority: P2 size: S
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
existence-master/Sentient#490 ·
Los mantenedores suelen responder en 1 día
-
Telegram/Discord: tapping "Local only" in the /model list should ask too, and "/model Local only no" should cancelPosiblemente ocupada @bernalalexis-try la tomó hace 2 días. Abiertoarea: channels enhancement good first issue priority: P2 size: S
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
existence-master/Sentient#457 · 3 comentarios · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Settings label reads "Claude code max concurrent" (generated from the config key)Posiblemente ocupada @sharmis-tp la tomó hoy. Abiertoarea: desktop bug good first issue priority: P2 size: S
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
existence-master/Sentient#454 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
area: desktop bug priority: P2 size: S
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
existence-master/Sentient#440 ·
Los mantenedores suelen responder en 1 día
-
area: desktop bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
existence-master/Sentient#426 ·
Los mantenedores suelen responder en 1 día
Todos los issues de existence-master/Sentient
Issues similares
-
infrastructure
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
khuisman/mcp-gee-sweet#1152 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
backroom bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ditto-assistant/ditto-subnet#3069 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
open-webui/open-webui#32901 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
0.3.3 bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día