Spoken translation through the glasses speaker
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 22/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
調査の方向性
Start with the voice pipeline in sentient/voice/stt.py, sentient/voice/tts.py and sentient/voice/session.py, then the audio output in firmware/esp32s3-glasses/main/audio.c and the phone captions under sentient/nodes/web/. The issue does not pick a translation model, so that choice needs a maintainer decision first. Done means speech in one language is spoken back in another through the glasses within a few seconds, and captions appear on the phone.
索引モデルが issue の本文から書いたものです。
説明
Even G2 has no speaker, so it cannot voice translations, and its accuracy drops in noise. On Meta's Display glasses translation is praised but reviews vary. Quality from 8B general models is the main risk.
Idea: Live translation using a dedicated local MT or Whisper-translate model, spoken through the glasses' MAX98357A speaker, with captions on the phone.
Status in Sentient today: New.
Where: sentient/voice/stt.py and sentient/voice/tts.py, a translation mode in sentient/voice/session.py, audio out in firmware/esp32s3-glasses/main/audio.c, captions in the phone web app under sentient/nodes/web/.
Done when:
- speech in one language is spoken back in another through the glasses within a few seconds
- captions appear on the phone
Sources:
- https://dymesty.com/blogs/articles/even-realities-g2-review
- https://www.uploadvr.com/meta-ray-ban-display-review/
- https://gizmodo.com/meta-ray-ban-display-smart-glasses-review-is-this-the-future-we-really-want-2000679520
Roadmap ID: VOICE-5 · Priority: P2 · Size: M
- 主要言語
- Python
- スター
- 702
- フォーク
- 113
- 平均マージ
- 5時間 8分
- マージ済み PR（30日）
- 171
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
existence-master/Sentient のほかの issue
-
area: channels enhancement good first issue priority: P2 size: S
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
existence-master/Sentient#457 ·
メンテナーはふだん 1 日以内に返信
-
area: desktop bug good first issue priority: P2 size: S
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
existence-master/Sentient#454 ·
メンテナーはふだん 1 日以内に返信
-
area: desktop bug priority: P2 size: S
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
existence-master/Sentient#440 ·
メンテナーはふだん 1 日以内に返信
-
area: desktop bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
existence-master/Sentient#426 ·
メンテナーはふだん 1 日以内に返信
-
area: memory bug flaky
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
existence-master/Sentient#422 ·
メンテナーはふだん 1 日以内に返信
existence-master/Sentient の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 90/100
SublimeText/AdvancedNewFile#211 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
Imbad0202/academic-research-skills#987 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
-
Pull-through from gcr.io returns 500 when pulling using podman/buildah対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープンIssue Triage-Needed
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
pulp/pulp_container#2581 ·
メンテナーはふだん 1 日以内に返信