Audio upload/transcribe not working on llama-swap

未关闭
#2 2 条评论 0 个 reaction 已指派 1 人 在 GitHub 查看

@mythz 已经在做这个了。

开始于 2025年11月1日。

评估

这个 Issue 还没有评估数据。

描述

Getting a 500 error when attempting to upload/transcribe audio files (only tested a small mp3). llama-server saying that audio isn't supported (but it works fine with OWUI).

llms output llama-swap error log:

Oct 31 11:34:57 phoenix llama-swap[63587]: main: server is listening on http://127.0.0.1:5818 - starting the main loop
Oct 31 11:34:57 phoenix llama-swap[63587]: srv  update_slots: all slots are idle
Oct 31 11:34:58 phoenix llama-swap[63587]: srv  log_server_r: request: GET /health 127.0.0.1 200
Oct 31 11:34:58 phoenix llama-swap[63587]: [INFO] <Qwen3-VL-8B-Instruct-BF16> Health check passed on http://localhost:5818/health
Oct 31 11:34:58 phoenix llama-swap[63587]: [DEBUG] <Qwen3-VL-8B-Instruct-BF16> swapState() State transitioned from starting to ready
Oct 31 11:34:58 phoenix llama-swap[63587]: got exception: {"code":500,"message":"audio input is not supported - hint: if this is unexpected, you may need to provide the mmproj","type":"server_error"}
Oct 31 11:34:58 phoenix llama-swap[63587]: srv  log_server_r: request: POST /v1/chat/completions 127.0.0.1 500
Oct 31 11:34:58 phoenix llama-swap[63587]: [DEBUG] <Qwen3-VL-8B-Instruct-BF16> request /v1/chat/completions - start: 10.265148086s, total: 10.277691021s
Oct 31 11:34:58 phoenix llama-swap[63587]: [WARN] metrics skipped, HTTP status=500, path=/v1/chat/completions
Oct 31 11:34:58 phoenix llama-swap[63587]: [INFO] Request ::1 "POST /v1/chat/completions HTTP/1.1" 500 151 "llms.py/1.0" 10.278364192s

Open-WebUI output:

Oct 31 11:36:40 phoenix llama-swap[63587]:        eval time =     637.21 ms /    19 tokens (   33.54 ms per token,    29.82 tokens per second)
Oct 31 11:36:40 phoenix llama-swap[63587]:       total time =     704.88 ms /   242 tokens
Oct 31 11:36:40 phoenix llama-swap[63587]: slot      release: id  0 | task 145 | stop processing: n_tokens = 248, truncated = 0
Oct 31 11:36:40 phoenix llama-swap[63587]: srv  update_slots: all slots are idle
Oct 31 11:36:40 phoenix llama-swap[63587]: srv  log_server_r: request: POST /v1/chat/completions 127.0.0.1 200
Oct 31 11:36:40 phoenix llama-swap[63587]: [DEBUG] <Qwen3-VL-8B-Instruct-BF16> request /v1/chat/completions - start: 0s, total: 707.956034ms
Oct 31 11:36:40 phoenix llama-swap[63587]: [INFO] Request ::1 "POST /v1/chat/completions HTTP/1.1" 200 661 "Python/3.12 aiohttp/3.12.15" 708.027884ms
主要语言
JavaScript
星标
629
派生
31
PR 合并指标
30 天内没有已合并 PR

贡献指南

这个仓库没有索引到贡献指南

从这里开始

  1. 先读完整个 Issue,再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库,在一个分支上完成修改。
  4. 提交 Pull Request,并在描述里引用这个 Issue 编号。

ServiceStack/llms 的其他 Issue

查看 ServiceStack/llms 的全部 Issue

相似的 Issue

更多 JavaScript Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。