[Engine] Native /v1/models still has no context window on 0.2.13 — engine reports n_ctx, the host gateway drops it
Maintainer thường phản hồi trong vòng 4 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 62/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- cpp, javascript, openapi
- Lĩnh vực
- api
Hướng nghiên cứu
Lỗi nằm trong host/server/index.mjs, ở nhánh native của GET /v1/models, nơi mỗi instance được ánh xạ thành một mục có các trường meta. Hãy đọc phần ánh xạ đó và phép tính max_context hiện có trong localInstances, cùng với host/server/model-providers.mjs để xem cách đặt tên context_length. Công việc hoàn tất khi các mục có context_length, max_model_len và meta.n_ctx lấy từ giá trị của engine, bỏ qua khóa nào khi giá trị chưa rõ, và được kiểm tra bằng curl tới listener của host.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Area: [Engine] (speed, kernels, models, the server and API)
Desktop app, Terminal or source?: Desktop app (Windows)
What happened
I loaded Qwen3.8-Flash-Next IQ3_XXS (131072 context, images on) in the desktop app, then asked the host gateway for the model list:
GET http://127.0.0.1:47831/v1/models
{"object":"list","data":[{"id":"iq3_xxs","object":"model","owned_by":"strata",
"meta":{"instanceId":"…","gpus":[0],"label":"Qwen3.8-Flash-Next IQ3_XXS","aliases":["iq3_xxs"]}}]}
There is no n_ctx, no context_length, no max_model_len — nothing a client can size a context window from.
The engine behind it does report the value, three ways:
GET http://127.0.0.1:18500/v1/models → "meta": {"n_ctx": 131072}
GET http://127.0.0.1:18500/props → "default_generation_settings": {"n_ctx": 131072}
GET http://127.0.0.1:18500/metrics → "engine": {"max_context": 131072}
So the data exists at the engine and is dropped when the host builds its own model list. What I expected instead: the host's /v1/models entries carry the loaded instance's context window under meta.n_ctx plus context_length and max_model_len (the names #1882 proposes), on the primary entry and on alias entries.
Why it matters: OpenAI-compatible agent clients size their context window from this list. When the key is missing they fall back to their own default — in my case 1M against a 128K engine — so they never compact and the conversation is hard-truncated at 131072 instead of being summarized before the limit. Working around it means hand-configuring the context window in every client, on every machine, with no way to keep them consistent.
GET http://<lan-ip>:47832/v1/models (the share listener) returns the same meta with exactly those four keys, so sharing hits the same gap.
This is the same report as #3931, which was closed by the stale-issue sweep rather than by a fix, so I re-tested on 0.2.13 as that comment asked. Still reproduces.
Smallest steps or command that reproduce it
- Load IQ3_XXS in the app (Settings > Models > Load).
curl -s -H "Authorization: Bearer $KEY" http://127.0.0.1:47831/v1/models→ the response above, with no context key.- For comparison, read the engine directly:
curl -s -H "Authorization: Bearer $ENGINE_KEY" http://127.0.0.1:18500/v1/models→meta.n_ctx: 131072.
($KEYis the serving key from/api/serving;$ENGINE_KEYisapi_keyinnative-instances/<instanceId>.json.)
Reproduction status: Reproduced locally
Strata version: Strata 0.2.13 · engine 0.1.59 (windows-x86_64-cuda)
Graphics card, memory and system: RTX 5060 Ti 16 GB · 96 GB RAM · Windows 11 Pro
Model, size and settings: Qwen3.8-Flash-Next IQ3_XXS · 131072 context · pictures on
Logs: can attach strata-iq3_xxs.log if useful — nothing in it looks related, the engine reports the value fine.
Where the fix would live (for the maintainers)
host/server/index.mjs, the native branch of /v1/models (line ~2145 in 0.2.13). The instance already holds the value and the same file computes it elsewhere for localInstances as i.metrics?.engine?.max_context ?? i.context; host/server/model-providers.mjs:143 already reads context_length from remote providers, so the naming convention is in the project.
Current:
.map(i=>({id:i.apiModelId,object:'model',owned_by:'strata',meta:{instanceId:i.id,gpus:i.gpus,label:i.label,aliases:i.aliases}}))
Proposed:
.map(i=>{const ctx=i.metrics?.engine?.max_context??i.context??0;return{id:i.apiModelId,object:'model',owned_by:'strata',
context_length:ctx||undefined,max_model_len:ctx||undefined,max_input_tokens:ctx||undefined,
meta:{n_ctx:ctx||undefined,instanceId:i.id,gpus:i.gpus,label:i.label,aliases:i.aliases}}})
Keys are omitted rather than sent as 0 when the value is not known yet (metrics are polled every 2s and can be briefly null right after load). I can send this as a PR if you prefer a patch over an issue.
- Ngôn ngữ chính
- C++
- Star
- 11.6k
- Fork
- 1k
- Merge trung bình
- 18 ngày 13 giờ
- Pull request đã merge (30 ngày)
- 4
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của Niko1221/Strata
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Niko1221/Strata#6071 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 4 ngày
-
needs-format
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
Niko1221/Strata#6040 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 4 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
Maintainer thường phản hồi trong vòng 4 ngày
-
[Engine] RTX 5090 32 GB, Q2_0: the ~13 KB/token KV figure measured, and why 1M context cannot start at --kv int8 (--kv-resident is the lever)Có thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Niko1221/Strata#5852 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 4 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
Maintainer thường phản hồi trong vòng 4 ngày
Tất cả issue của Niko1221/Strata
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
grizzlypeak3d/DJV#962 ·
-
cognizant-backlog
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 61/100
KhronosGroup/OpenCL-CTS#2882 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Documentation: Fix parameter markup, legacy branch link, and phrasing in Detachable Joints and Model Command tutorialsCó thể đã có người làm @patelshivani2283-lab đã nhận hôm nay. Đang mở
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
LunarG/gfxreconstruct#3440 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày