Add Realtime Voice Support like OpenAI/Grok/Anthropic/Google Realtime support
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 静か
- 技術スタック
- dart
- 領域
- ai, audio-video-rtc, mobile-dev
調査の方向性
リポジトリのファイルやテストは指定されていません。まず既存の realtime_audio と flutter_sound の使用箇所を見つけ、次に音声入力、再生、可視化、文字起こし、provider のインターフェースを追跡します。完了条件は、クロスプラットフォームの voice-to-voice ストリーミングが中断と音声・テキスト間の切り替えをサポートすることです。
索引モデルが issue の本文から書いたものです。
説明
Please expand this to do full voice to voice.
And the UI should support, just like OpenAI and Grok, the ability to switch the chat from voice to text and text to voice right on the spot.
So what this really needs to do is:
- Have full realtime audio support with noise cancelling on each platform. (i.e. sort of like the realtime_audio library but expaned to all platforms and fixed)
- Have visualization while you're talking.
- Have playback audio support with visualization. (using flutter_sound or whatever, or your own)
- Have transcription from server of STT. (this is just adding a message to the screen)
- Have the transcript of what the AI is saying be injectable from your provider. (this is just adding the message to the screen)
- Make sure that you can interrupt properly. (i.e. I should be able to talk over the AI and you should notice that I did, and kill the AI and start streaming me nicely back to the server)
You could go further and:
- Add the ability to provide the SST in this mode with voice so that you can just send the text to the backend (See #141 ). But this could be hacked in with your own provider that takes the streaming audio from the input and does this with whatever package you wanted.)
- Add TTS streaming text from the backend to the front end that then TTSed that into voice.
By doing this you could use any text chat AI, and you'd get realtime, with most of the realtime work done on the front end.
But these "further" items are optional. We really need support for realtime voice to voice.
- 主要言語
- Dart
- スター
- 292
- フォーク
- 93
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
flutter/ai のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
-
LlmChatView dispose() does not cancel pending streaming response, causing setState on disposed widget対応中かも @apravint が 106 日前に担当しました。 オープンwaiting for customer response
難易度 1/5 1時間未満 初心者へのやさしさ 70/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
Loan appオープン
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
-
IDX -> Antigravitiy再び着手できるかも @rodydavis が 146 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
似ている issue
-
type:bug
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
decentespresso/decaid#1028 ·
メンテナーはふだん 1 日以内に返信
-
Update checksums / Verify firmware give no success or error feedback (looks like a dead button)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
canonical/firmware-updater#443 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
メンテナーはふだん 1 日以内に返信