Voice turn-taking that does not cut you off
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 30/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- audio-video-rtc, backend, frontend
Direzione di ricerca
Start with the end-of-turn logic in sentient/voice/vad.py and the vad_silence_ms setting in the voice section of sentient/config/schema.py, then trace how sentient/voice/session.py handles barge_in over /ws/voice in sentient/voice/socket.py. Done means pauses shorter than the configured silence keep the turn open, Sentient's own audio does not trigger barge-in, and a per-turn latency value is shown in desktop/src/features/voice/. Scope spans several subsystems and is a bundle of six ideas, so confirm with maintainers which item to take first.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Voice failures are turn-taking failures. Alexa+ treats normal pauses as the end of a turn. Practitioners target under 800 ms end to end and find "not listening" worse than talking over the user. Gemini's redesigned mic "doesn't cut you off mid-thought", and Hermes added streaming STT.
Idea:
- a tunable end-of-turn silence
- echo cancellation so Sentient's own audio does not trigger barge-in
- filtering of backchannels like "mhm"
- streaming transcription
- a latency readout per turn
- typing and talking switch seamlessly in the same thread
Status in Sentient today: Partial. VAD with vad_silence_ms and interruptible /ws/voice with barge_in exist.
Where: sentient/voice/vad.py, sentient/voice/session.py, sentient/voice/stt.py, sentient/voice/socket.py, the voice section of sentient/config/schema.py, and desktop/src/features/voice/.
Done when:
- pauses shorter than the setting do not end the turn
- Sentient's own speech does not trigger barge-in
- backchannels do not interrupt
- latency is shown per turn
Sources:
- https://www.fortune.com/2025/07/26/amazon-alexa-plus-ai-agent-voice-assistant-hands-on-review-compared-chatgpt
- https://picovoice.ai/guide/voice-agents/voice-ux-latency-turn-taking/
- https://blog.google/innovation-and-ai/products/gemini-app/next-evolution-gemini-app/
- https://github.com/NousResearch/hermes-agent/releases
Roadmap ID: VOICE-1 · Priority: P1 · Size: M
- Lingua principale
- Python
- Stelle
- 710
- Fork
- 125
- Merge medio
- 8h 24m
- PR unite (30g)
- 183
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di existence-master/Sentient
-
Flaky test: test_interrupt_stops_audio_but_text_completes fails under loadForse già presa @ShryukGrandhi l’ha presa oggi. Apertaarea: voice bug flaky priority: P2 size: S
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
existence-master/Sentient#490 ·
I maintainer di solito rispondono entro 1 giorno
-
Telegram/Discord: tapping "Local only" in the /model list should ask too, and "/model Local only no" should cancelForse già presa @bernalalexis-try l’ha presa 3 giorni fa. Apertaarea: channels enhancement good first issue priority: P2 size: S
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
existence-master/Sentient#457 · 4 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Settings label reads "Claude code max concurrent" (generated from the config key)Forse già presa @sharmis-tp l’ha presa 1 giorno fa. Apertaarea: desktop bug good first issue priority: P2 size: S
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
existence-master/Sentient#454 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
A test or demo data folder offers the real Documents folder as its default backup locationForse già presa @bercedev l’ha presa oggi. Apertaarea: desktop bug priority: P2 size: S
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
existence-master/Sentient#440 · 2 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
area: desktop bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
existence-master/Sentient#426 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di existence-master/Sentient
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
gramaziokohler/compas_timber#870 ·
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
autowarefoundation/autoware_carla_scenario#500 ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue priority: low size: XS testing
Difficoltà 1/5 1-3 ore Idoneità per principianti 86/100
cubrid-lab/cubrid-mcp-server#385 ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue priority: low size: S testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
cubrid-lab/cubrid-cookbook-python#447 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100