Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Voice turn-taking that does not cut you off

Đang mở
  • Có gì không ổn?
#168 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
30/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
audio-video-rtc, backend, frontend

Hướng nghiên cứu

Start with the end-of-turn logic in sentient/voice/vad.py and the vad_silence_ms setting in the voice section of sentient/config/schema.py, then trace how sentient/voice/session.py handles barge_in over /ws/voice in sentient/voice/socket.py. Done means pauses shorter than the configured silence keep the turn open, Sentient's own audio does not trigger barge-in, and a per-turn latency value is shown in desktop/src/features/voice/. Scope spans several subsystems and is a bundle of six ideas, so confirm with maintainers which item to take first.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area: voice enhancement help wanted priority: P1 size: M

Voice failures are turn-taking failures. Alexa+ treats normal pauses as the end of a turn. Practitioners target under 800 ms end to end and find "not listening" worse than talking over the user. Gemini's redesigned mic "doesn't cut you off mid-thought", and Hermes added streaming STT.

Idea:

  • a tunable end-of-turn silence
  • echo cancellation so Sentient's own audio does not trigger barge-in
  • filtering of backchannels like "mhm"
  • streaming transcription
  • a latency readout per turn
  • typing and talking switch seamlessly in the same thread

Status in Sentient today: Partial. VAD with vad_silence_ms and interruptible /ws/voice with barge_in exist.

Where: sentient/voice/vad.py, sentient/voice/session.py, sentient/voice/stt.py, sentient/voice/socket.py, the voice section of sentient/config/schema.py, and desktop/src/features/voice/.

Done when:

  • pauses shorter than the setting do not end the turn
  • Sentient's own speech does not trigger barge-in
  • backchannels do not interrupt
  • latency is shown per turn

Sources:

Roadmap ID: VOICE-1 · Priority: P1 · Size: M

Ngôn ngữ chính
Python
Star
702
Fork
113
Merge trung bình
5 giờ 6 phút
Pull request đã merge (30 ngày)
172

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của existence-master/Sentient

Tất cả issue của existence-master/Sentient

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.