feat(android): add streamed and live transcription with word timings
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- kotlin, typescript
- Ambito
- mobile-dev
Direzione di ricerca
Start in the @react-native-ai/android package: read the existing AudioSource.fromFile transcription path, then the ML Kit genai-speech-recognition docs for fromMic/fromPfd and enableWordTiming. Design how streamed PCM chunks and a live microphone API would map onto experimental_streamTranscribe and Apple's transcribeLive shape. Note the issue itself flags that en-US is unavailable on the only test device, so testing needs another device — done means streaming and live transcription producing segments from word timings.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
@react-native-ai/android transcribes whole files with AudioSource.fromFile. ML Kit's speech recognition (genai-speech-recognition 1.0.0-alpha2) also takes AudioSource.fromMic() and fromPfd (16 kHz mono 16-bit PCM), with partial results and word timings (recognitionOptions { enableWordTiming = true }), which only work with streamed sources.
These could back experimental_streamTranscribe (PCM chunks) and a live microphone API like Apple's transcribeLive, with segments from the word timings.
Note: on the test Pixel 9 Pro (AICore aicore_20260219), checkStatus reports en-US unavailable in both basic and advanced mode, so this needs another device to test.
- Lingua principale
- TypeScript
- Stelle
- 1.4k
- Fork
- 64
- Merge medio
- 11h 24m
- PR unite (30g)
- 91
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di callstackincubator/ai
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
callstackincubator/ai#378 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
callstackincubator/ai#366 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100
callstackincubator/ai#365 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Blocked enhancement
Difficoltà 3/5 1-2 giorni Idoneità per principianti 30/100
callstackincubator/ai#364 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Blocked enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
callstackincubator/ai#362 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di callstackincubator/ai
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
cursor/community-plugins#583 ·
I maintainer di solito rispondono entro 1 giorno
-
afk-ok importer size:S
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
enorm-labs/event-junkie#5404 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Wavvon/Wavvon-clients#493 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 1-3 ore Idoneità per principianti 72/100
answerLoops/answerLoops#679 ·
I maintainer di solito rispondono entro 1 giorno