Native audio input support for Gemini and Muse models
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- google-cloud
- 领域
- ai
调研方向
Start by reading the Provider API handling for POST /provider/v1/chat/completions and the related issue #906. Compare how the Google native endpoint accepts inlineData with how the Provider API validates input_audio; the issue reports HTTP 400 for Gemini and Muse models. Done means native audio input works for these models or a compatible endpoint and timeline are documented.
由索引模型根据 Issue 内容生成。
描述
Feature Description
Is native audio input support planned for Gemini and Muse models?
Sending WAV audio as input_audio to Command Code’s Provider API (POST /provider/v1/chat/completions) returns HTTP 400 (Invalid input, messages.0.content) with both google/gemini-4-argon and meta/muse-ember.
Could Command Code support native audio input or provide a compatible endpoint for these models? Is there an expected timeline?
Use Case
Direct audio transcription, translation, and timestamped subtitle generation using the model’s audio understanding.
Additional Context
For comparison, Gemini 4 Argon successfully transcribes audio through OpenCode’s Google-native endpoint using inlineData, with AUDIO input tokens confirmed in the response:
POST https://opencode.ai/inference/go/google/v1beta/models/gemini-4-argon:generateContent
The audio is passed as Base64 WAV data in contents[].parts[].inlineData with mimeType: "audio/wav".
Related: #906
How important is this to you?
Important for my workflow
- 主要语言
- 没有语言数据
- 星标
- 4.2k
- 派生
- 377
- 平均合并
- 1 天 17 分钟
- 30 天内合并 PR
- 7
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
CommandCodeAI/command-code 的其他 Issue
-
Provider /v1/messages rejects role:"system" inside messages[] — Claude Code ≥ 2.1.154 incompatible未关闭
难度 2/5 1-3 小时 新手友好度 75/100
CommandCodeAI/command-code#1085 ·
维护者通常 1 天内回复
-
Feature request: auto-reconnect remote control (/rc) after restart可能已有人在做 @aliarain 于 20 天前认领。 未关闭p2
难度 2/5 1-3 小时 新手友好度 85/100
CommandCodeAI/command-code#992 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
CommandCodeAI/command-code#933 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
CommandCodeAI/command-code#855 ·
维护者通常 1 天内回复
-
grep tool passes empty file type to ripgrep可能已有人在做 @ahmadbilaldev 于 19 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 68/100
CommandCodeAI/command-code#655 · 1 条评论 ·
维护者通常 1 天内回复
查看 CommandCodeAI/command-code 的全部 Issue
相似的 Issue
-
enhancement
难度 2/5 1-3 小时 新手友好度 65/100
developmentwithyash/yaan#60 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
area/billing area/config comp/tui-gateway P2 provider/openrouter type/bug
难度 2/5 1-3 小时 新手友好度 68/100
NousResearch/hermes-agent#153086 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 74/100
维护者通常 2 天内回复
-
ai-generated structs tech-debt
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复