[Engine] Native /v1/models still has no context window on 0.2.13 — engine reports n_ctx, the host gateway drops it
メンテナーはふだん 4 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 62/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- cpp, javascript, openapi
- 領域
- api
調査の方向性
修正箇所は host/server/index.mjs の GET /v1/models のネイティブ分岐で、各インスタンスを meta フィールドを持つエントリに対応付けている部分です。そこの対応付けと、localInstances における既存の max_context の計算を読んでください。context_length の命名については host/server/model-providers.mjs も読んでください。エンジンの値から context_length、max_model_len、meta.n_ctx を設定し、値が不明な場合はキーを省略すること、そしてホストのリスナーに対して curl で確認できたら完了です。
索引モデルが issue の本文から書いたものです。
説明
Area: [Engine] (speed, kernels, models, the server and API)
Desktop app, Terminal or source?: Desktop app (Windows)
What happened
I loaded Qwen3.8-Flash-Next IQ3_XXS (131072 context, images on) in the desktop app, then asked the host gateway for the model list:
GET http://127.0.0.1:47831/v1/models
{"object":"list","data":[{"id":"iq3_xxs","object":"model","owned_by":"strata",
"meta":{"instanceId":"…","gpus":[0],"label":"Qwen3.8-Flash-Next IQ3_XXS","aliases":["iq3_xxs"]}}]}
There is no n_ctx, no context_length, no max_model_len — nothing a client can size a context window from.
The engine behind it does report the value, three ways:
GET http://127.0.0.1:18500/v1/models → "meta": {"n_ctx": 131072}
GET http://127.0.0.1:18500/props → "default_generation_settings": {"n_ctx": 131072}
GET http://127.0.0.1:18500/metrics → "engine": {"max_context": 131072}
So the data exists at the engine and is dropped when the host builds its own model list. What I expected instead: the host's /v1/models entries carry the loaded instance's context window under meta.n_ctx plus context_length and max_model_len (the names #1882 proposes), on the primary entry and on alias entries.
Why it matters: OpenAI-compatible agent clients size their context window from this list. When the key is missing they fall back to their own default — in my case 1M against a 128K engine — so they never compact and the conversation is hard-truncated at 131072 instead of being summarized before the limit. Working around it means hand-configuring the context window in every client, on every machine, with no way to keep them consistent.
GET http://<lan-ip>:47832/v1/models (the share listener) returns the same meta with exactly those four keys, so sharing hits the same gap.
This is the same report as #3931, which was closed by the stale-issue sweep rather than by a fix, so I re-tested on 0.2.13 as that comment asked. Still reproduces.
Smallest steps or command that reproduce it
- Load IQ3_XXS in the app (Settings > Models > Load).
curl -s -H "Authorization: Bearer $KEY" http://127.0.0.1:47831/v1/models→ the response above, with no context key.- For comparison, read the engine directly:
curl -s -H "Authorization: Bearer $ENGINE_KEY" http://127.0.0.1:18500/v1/models→meta.n_ctx: 131072.
($KEYis the serving key from/api/serving;$ENGINE_KEYisapi_keyinnative-instances/<instanceId>.json.)
Reproduction status: Reproduced locally
Strata version: Strata 0.2.13 · engine 0.1.59 (windows-x86_64-cuda)
Graphics card, memory and system: RTX 5060 Ti 16 GB · 96 GB RAM · Windows 11 Pro
Model, size and settings: Qwen3.8-Flash-Next IQ3_XXS · 131072 context · pictures on
Logs: can attach strata-iq3_xxs.log if useful — nothing in it looks related, the engine reports the value fine.
Where the fix would live (for the maintainers)
host/server/index.mjs, the native branch of /v1/models (line ~2145 in 0.2.13). The instance already holds the value and the same file computes it elsewhere for localInstances as i.metrics?.engine?.max_context ?? i.context; host/server/model-providers.mjs:143 already reads context_length from remote providers, so the naming convention is in the project.
Current:
.map(i=>({id:i.apiModelId,object:'model',owned_by:'strata',meta:{instanceId:i.id,gpus:i.gpus,label:i.label,aliases:i.aliases}}))
Proposed:
.map(i=>{const ctx=i.metrics?.engine?.max_context??i.context??0;return{id:i.apiModelId,object:'model',owned_by:'strata',
context_length:ctx||undefined,max_model_len:ctx||undefined,max_input_tokens:ctx||undefined,
meta:{n_ctx:ctx||undefined,instanceId:i.id,gpus:i.gpus,label:i.label,aliases:i.aliases}}})
Keys are omitted rather than sent as 0 when the value is not known yet (metrics are polled every 2s and can be briefly null right after load). I can send this as a PR if you prefer a patch over an issue.
- 主要言語
- C++
- スター
- 11.6k
- フォーク
- 1k
- 平均マージ
- 18日 13時間
- マージ済み PR(30日)
- 4
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Niko1221/Strata のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Niko1221/Strata#6071 · コメント 2 件 ·
メンテナーはふだん 4 日以内に返信
-
needs-format
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
Niko1221/Strata#6040 · コメント 1 件 ·
メンテナーはふだん 4 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
メンテナーはふだん 4 日以内に返信
-
[Engine] RTX 5090 32 GB, Q2_0: the ~13 KB/token KV figure measured, and why 1M context cannot start at --kv int8 (--kv-resident is the lever)対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Niko1221/Strata#5852 · コメント 1 件 ·
メンテナーはふだん 4 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
メンテナーはふだん 4 日以内に返信
Niko1221/Strata の issue をすべて見る
似ている issue
-
Documentation: Fix parameter markup, legacy branch link, and phrasing in Detachable Joints and Model Command tutorials対応中かも @patelshivani2283-lab が今日担当しました。 オープン
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
KhronosGroup/Vulkan-Tutorial#551 ·
メンテナーはふだん 1 日以内に返信
-
pumpオープン
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
dewenni/ESP_Buderus_KM271#191 ·