[FR]: Gemini Live API integration for voice-based interaction
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Área
- ai, audio-video-rtc, mobile
Línea de trabajo
Empieza siguiendo el flujo actual de la Interactions API basado únicamente en texto en la interfaz de chat y la conversión existente del esquema de herramientas de AppFunction a Gemini mencionada en el issue. Revisa la documentación de Gemini Live API y los requisitos de audio de Android antes de decidir cómo encajan el streaming, las llamadas a herramientas, las transcripciones y los controles del modo de voz. Se considera terminado cuando la entrada y la salida de voz funcionan de extremo a extremo y AppFunctions siguen pudiendo invocarse.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Is there an existing issue for this?
- I have searched the existing issues
Describe the problem
AppFunctions Studio currently only supports text-based interaction with the agent. For interactive showcases, being able to speak to the agent and hear responses would be dramatically more compelling and natural — especially when demonstrating how AppFunctions enable hands-free, voice-driven workflows on Android.
Describe the solution
Motivation
AppFunctions are fundamentally about enabling agent-driven automation without opening app UIs. The most natural interface for this is voice — a user says "create a note about tomorrow's meeting" and the agent executes it via AppFunctions. But the current testing agent forces users to type, which undermines the demo narrative.
Key use cases:
- Demos: Showing executives how AppFunctions work in a hands-free, conversational way
- Developer testing: Rapidly testing AppFunction flows via voice without typing complex queries
- Accessibility: Voice-first interaction for users who can't easily type on mobile
Technical Context
The agent currently uses the Interactions API with text input exclusively. Google already offers the Gemini Live API which supports:
- Real-time audio input/output (bidirectional streaming)
- Tool use / function calling — critical for AppFunctions execution
- Low-latency audio-to-audio via gemini-3.1-flash-live-preview
- Session management for multi-turn conversations
The Live API already supports tools, meaning the existing AppFunction → Gemini tool schema conversion could be reused. The agent would need:
- Audio capture (microphone) → streaming to Live API
- Live API processes speech, calls AppFunctions as tools (same flow as today)
- Audio response streamed back → speaker output
Suggested Implementation
- Add a "Voice mode" toggle or a push-to-talk button in the chat UI
- Show a transcript in the chat alongside audio (for clarity and debugging)
Additional context
No response
Code of Conduct
- I agree to follow this project's Code of Conduct
- Lenguaje dominante
- Kotlin
- Estrellas
- 201
- Forks
- 39
- Merge medio
- 12 h 5 min
- PR fusionados (30 d)
- 1
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de android/appfunctions
-
Clarify production invocation, Android Auto support, and Android 16 fallback in AppFunctions docsAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
android/appfunctions#51 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
android/appfunctions#50 · 1 comentario ·
-
[Bug]:Abiertobug
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
android/appfunctions#49 ·
-
[Bug]: Sample Agent hangs before invoking ChatApp searchContacts on Android 17Quizá libre de nuevo @manoj897 la tomó hace 67 días y no hay ningún pull request abierto. Abiertobug question
android/appfunctions#39 · 1 comentario · 1 asignado ·
-
enhancement
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
android/appfunctions#38 ·
Todos los issues de android/appfunctions
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Bug Domain changed
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
keiyoushi/extensions-source#19571 · 2 reacciones ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
[Rust][Flaky Test] multiple_deadlines_fire_in_order asserts a wall-clock gap instead of firing orderAbiertoCI/CD ⚒️ Flaky-tests 🐦
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
valkey-io/valkey-glide#7255 ·
Los mantenedores suelen responder en 3 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
modelcontextprotocol/kotlin-sdk#1090 ·
Los mantenedores suelen responder en 2 días