generation_config.json path override per LLM node
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 静か
- 技術スタック
- cpp
- 領域
- ai, backend-api-design
調査の方向性
src/llm/language_model/continuous_batching/servable_initializer.cpp から始め、LLMCalculatorOptions、models_path、mediapipe の登録が graph_path と併せてどのように扱われているかを確認します。issue に記載されている openvino.genai ContinuousBatchingPipeline の構築および設定の動作を読みます。モデルの重みを共有しながら個別のデフォルト値をサポートする、合意済みの配置と LLM ノードごとの生成設定パスが定まれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Component: LLM continuous batching, LLMCalculatorOptions / mediapipe registration
OVMS version: 2026.1.0.72cc0624 (OpenVINO backend 2026.1.0, OpenVINO GenAI backend 2026.1.0.0)
Context
When several deployments share the same on-disk model directory but need different generation defaults (e.g. different num_assistant_tokens, temperature, or sampling settings per served endpoint), the only current option is to duplicate the model directory — including the weights — because OVMS reads generation_config.json from a fixed name inside models_path. For multi-gigabyte LLMs this is impractical.
The same problem exists for graph.pbtxt, but is already solved there: graph_path in the mediapipe config entry lets one model directory back several deployments with different graphs. There is no equivalent for generation_config.json.
Related to #4221
Question
Would it be feasible to add a per-LLM-node override for the generation-config file path — analogous to graph_path? A natural shape would be either:
- a
generation_config_pathfield inLLMCalculatorOptions(next tomodels_path), absolute or relative tomodels_path; or - a sibling field at the mediapipe config-entry level (next to
graph_path).
From a quick read of openvino.genai,ContinuousBatchingPipelineaccepts an optionalGenerationConfigat construction and exposesset_config()post-construction, so the underlying mechanism appears to be already in place. The work seems contained withinsrc/llm/language_model/continuous_batching/servable_initializer.cppon the OVMS side.
Use case
Multiple served names backed by the same model weights, each with its own generation defaults. Without per-entry generation-config selection, each variant requires a full copy of the model directory on disk.
Open questions
- Is there a reason this hasn't been exposed yet — for example, a planned different mechanism (per-deployment overrides through some other channel), or an interaction with model auto-detection/conversion that I'm missing?
- Is one of the placement options preferred from the architecture side?
- 主要言語
- C++
- スター
- 940
- フォーク
- 278
- 平均マージ
- 3日 4時間
- マージ済み PR（30日）
- 68
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
openvinotoolkit/model_server のほかの issue
-
難易度 3/5 1〜2日 初心者へのやさしさ 58/100
openvinotoolkit/model_server#4613 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
openvinotoolkit/model_server#4609 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Idle unload never happens again if the client disconnects while a sleeping graph is waking up対応中かも @atobiszei が 6 日前に担当しました。 オープン
openvinotoolkit/model_server#4603 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
openvinotoolkit/model_server#4599 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
openvinotoolkit/model_server#4586 · コメント 5 件 ·
メンテナーはふだん 1 日以内に返信
openvinotoolkit/model_server の issue をすべて見る
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
lxqt/qtermwidget#688 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
cpinitiative/usaco-guide#6665 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
mpfaffenberger/privateer_reimagined#658 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
microsoft/onnxruntime#33018 ·
メンテナーはふだん 2 日以内に返信
-
Type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 2 日以内に返信