/v1/audio/transcriptions rejects the model name the server was started with (404 unknown_model) since 0.3.0

Đang mở
  • Có gì không ổn?
#94 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
55/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp
Lĩnh vực
api

Hướng nghiên cứu

Start with the API behavior described in docs/api.md, then reproduce the issue using the supplied nemo-speech serve and curl commands. Trace how /v1/models builds the ASR model ID and how /v1/audio/transcriptions validates the model field. Done means clients can use a stable, discoverable model name for transcription without receiving unknown_model.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Summary

Since 0.3.0, POST /v1/audio/transcriptions validates the model field against the IDs in GET /v1/models and returns 404 unknown_model for anything else (as described in docs/api.md).

However, the ID reported for the ASR model is not a name a client would know. When started with --asr-model nemotron-3.5, the server lists the model ID as .nemotron-3.5-asr-streaming-0.6b.q8_0.gguf, prepending a leading dot that the file on disk does not have. As a result, a client that sends the name used to start the server (the indexed name nemotron-3.5 or the GGUF file name) gets a 404. On 0.2.0, the same request succeeded because the model field was ignored.

/v1/audio/speech behaves differently: it accepts magpie, magpietts, and even nonsense.

Repro

nemo-speech pull nemotron-3.5
nemo-speech serve --port 18999 --no-ui --asr-model nemotron-3.5 &
curl -s http://127.0.0.1:18999/v1/models | jq '.data[].id'
# ".nemotron-3.5-asr-streaming-0.6b.q8_0.gguf"

for m in nemotron-3.5 nvidia/nemotron-3.5-asr-streaming-0.6b \
         nemotron-3.5-asr-streaming-0.6b.q8_0.gguf .nemotron-3.5-asr-streaming-0.6b.q8_0.gguf ""; do
  printf '%-45s ' "model='$m'"
  curl -s -o /dev/null -w '%{http_code}\n' -X POST http://127.0.0.1:18999/v1/audio/transcriptions \
    -F [email protected] -F "model=$m"
done

On 0.3.0:

model='nemotron-3.5'                          404
model='nvidia/nemotron-3.5-asr-streaming-0.6b' 404
model='nemotron-3.5-asr-streaming-0.6b.q8_0.gguf' 404
model='.nemotron-3.5-asr-streaming-0.6b.q8_0.gguf' 200
model=''                                      200

The 404 response body is {"error":{"code":"unknown_model","message":"requested model is not available","param":"model","type":"invalid_request_error"}}. On 0.2.0, all five requests return 200.

Starting the server with the full GGUF path instead of the indexed name produces the same ID, including the leading dot. The server log also prints [asr] model=.nemotron-3.5-asr-streaming-0.6b.q8_0.gguf.

Expected

Either of these would work:

  • Accept the name the model was loaded with (the indexed name such as nemotron-3.5, or the GGUF file name) in addition to the listed ID.
  • List a stable ID without the leading dot (for example, the indexed name) so clients can discover and send it.

The leading dot appears unintended in any case.

Impact

Upgrading from 0.2.0 to 0.3.0 breaks OpenAI-compatible clients that send model (which the OpenAI SDK requires) unless they first look up the leading-dot ID. We worked around this by omitting model, which the docs state selects the loaded model.

Environment

  • nemo-speech 0.3.0, macOS 26 on Apple M5, Metal build (also reproduced the ID listing on 0.2.0)
  • ASR: nemotron-3.5 (nvidia/nemotron-3.5-asr-streaming-0.6b, q8_0)
Ngôn ngữ chính
C++
Star
207
Fork
47
Merge trung bình
13 giờ 10 phút
Pull request đã merge (30 ngày)
12

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/NeMo-Speech.cpp

Tất cả issue của NVIDIA/NeMo-Speech.cpp

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.