gemma speach model use
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
Start by reading the linked flutter_gemma_speech package documentation and the project's existing local-model integration points. Clarify which platforms and speech models this issue should cover before implementing the text-to-speech and speech-to-speech support. Done means the agreed speech flows work on the selected platforms and are verified with tests or a manual run.
由索引模型根据 Issue 内容生成。
描述
here we will try to support the text to speach and speach to speach speaking also for the local models
🖼️ Multimodal Support: Text + Image input with Gemma 4, Gemma3n, FastVLM, Qwen2-VL, SmolVLM2, and LLaVA-OneVision vision models (Gemma 4 / Gemma3n on all platforms incl. Web; Qwen2-VL / SmolVLM2 / LLaVA-OneVision on Android, iOS, and Desktop; FastVLM on Desktop)
🎙️ Audio Input: Record and send audio messages with Gemma 4 and Gemma3n E2B/E4B models (Android, iOS device, macOS/Windows/Linux via LiteRT-LM — not on Web)
🎤 On-device Speech-to-Text: Opt-in flutter_gemma_speech — transcribe audio fully offline with a selectable ASR model (moonshine, Whisper, Parakeet) via the LiteRT C API (Android, iOS, macOS, Windows, Linux; Web is a follow-on)
🔊 On-device Text-to-Speech: Opt-in flutter_gemma_speech — synthesize speech fully offline with a selectable model (Matcha, Qwen3-TTS, Inflect-Nano-v2; kokoro / supertonic are follow-ons) via the LiteRT C API (Android, iOS, macOS, Windows, Linux; Web is a follow-on)
🗣️ On-device Voice Loop: VoiceSession in flutter_gemma_speech chains STT → LLM → TTS into one push-to-talk turn with barge-in — the full on-device speech-to-speech pipeline. VoiceSession.fromChat(recognizer:, chat:, synthesizer:) streams VoiceEvents from recorded PCM (native only).
- 主要语言
- Dart
- 星标
- 2
- 派生
- 2
- 平均合并
- 1 天 35 分钟
- 30 天内合并 PR
- 36
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
basictech01/uniun 的其他 Issue
-
bug good first issue
难度 2/5 1-3 小时 新手友好度 82/100
basictech01/uniun#300 ·
维护者通常 1 天内回复
-
bug good first issue
难度 3/5 1-2 天 新手友好度 52/100
basictech01/uniun#301 ·
维护者通常 1 天内回复
-
enhancement good first issue P2-Medium
难度 5/5 一周以上 新手友好度 25/100
basictech01/uniun#296 ·
维护者通常 1 天内回复
-
bug good first issue P2-Medium
难度 4/5 1-2 天 新手友好度 22/100
basictech01/uniun#293 ·
维护者通常 1 天内回复
-
bug P1-High
难度 4/5 3-5 天 新手友好度 18/100
basictech01/uniun#286 · 2 条评论 ·
维护者通常 1 天内回复
查看 basictech01/uniun 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
good-first-issue P3
难度 2/5 1-3 小时 新手友好度 88/100
flutter/dart-intellij-third-party#758 ·
维护者通常 1 天内回复
-
Bug: Incorrect location coordinates on logged Sound Meter data可能已有人在做 @Jashan32 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
area/archive bug
难度 2/5 1-3 小时 新手友好度 76/100
DarkFlippers/qUnleashed#374 ·
维护者通常 1 天内回复
-
agent:in-progress agent:ready feature P2 · 中 区域: 悬浮窗
难度 2/5 1-3 小时 新手友好度 85/100
ASDW51/DanmuFloat#178 ·
维护者通常 1 天内回复