Native audio input support for Gemini and Muse models
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- google-cloud
- Área
- ai
Línea de trabajo
Start by reading the Provider API handling for POST /provider/v1/chat/completions and the related issue #906. Compare how the Google native endpoint accepts inlineData with how the Provider API validates input_audio; the issue reports HTTP 400 for Gemini and Muse models. Done means native audio input works for these models or a compatible endpoint and timeline are documented.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Feature Description
Is native audio input support planned for Gemini and Muse models?
Sending WAV audio as input_audio to Command Code’s Provider API (POST /provider/v1/chat/completions) returns HTTP 400 (Invalid input, messages.0.content) with both google/gemini-4-argon and meta/muse-ember.
Could Command Code support native audio input or provide a compatible endpoint for these models? Is there an expected timeline?
Use Case
Direct audio transcription, translation, and timestamped subtitle generation using the model’s audio understanding.
Additional Context
For comparison, Gemini 4 Argon successfully transcribes audio through OpenCode’s Google-native endpoint using inlineData, with AUDIO input tokens confirmed in the response:
POST https://opencode.ai/inference/go/google/v1beta/models/gemini-4-argon:generateContent
The audio is passed as Base64 WAV data in contents[].parts[].inlineData with mimeType: "audio/wav".
Related: #906
How important is this to you?
Important for my workflow
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 4.2k
- Forks
- 377
- Merge medio
- 1 d 17 min
- PR fusionados (30 d)
- 7
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de CommandCodeAI/command-code
-
Provider /v1/messages rejects role:"system" inside messages[] — Claude Code ≥ 2.1.154 incompatibleAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
CommandCodeAI/command-code#1085 ·
Los mantenedores suelen responder en 1 día
-
Feature request: auto-reconnect remote control (/rc) after restartPosiblemente ocupada @aliarain la tomó hace 20 días. Abiertop2
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
CommandCodeAI/command-code#992 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
CommandCodeAI/command-code#933 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
CommandCodeAI/command-code#855 ·
Los mantenedores suelen responder en 1 día
-
grep tool passes empty file type to ripgrepPosiblemente ocupada @ahmadbilaldev la tomó hace 19 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
CommandCodeAI/command-code#655 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de CommandCodeAI/command-code
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
UKGovernmentBEIS/inspect_ai#6512 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Intelligent-Internet/ii-agent#221 ·
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
developmentwithyash/yaan#60 ·
Los mantenedores suelen responder en 1 día
-
area: deals priority: normal
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 2 días