Using openvino-quantized embedder and reranker from huggingface hub
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- huggingface
調査の方向性
まず、model_server が Hugging Face Hub から embedder モデルおよび reranker モデル用の graph.pbtxt と tokenizer アセットをどのように消費しているかを追跡します。参照されている OpenVINO/bge-base-en-v1.5-int8-ov と BAAI/bge-base-en-v1.5 のワークフローを、export_model.py を含めて比較します。完了の条件は、手動で量子化せずに量子化済みモデルを読み込む、サポートされた方法を確立することです。
索引モデルが issue の本文から書いたものです。
説明
For my application (which relies on openvino model server), I would like to use openvino-quantized models from huggingface hub and avoid doing the quantization step myself.
For chat llm models, eg, OpenVINO/Qwen2.5-7B-Instruct-int4-ov, I'll need an additional graph.pbtxt for ovms to work. It seems that I can use the same graph.pbtxt for all models, so I can include a pre-generated graph.pbtxt .
However, for embedder (and reranker) models, eg, OpenVINO/bge-base-en-v1.5-int8-ov, I'll need to include graph.pbtxt, openvino_detokenizer.bin, and openvino_detokenizer.xml. The tokenizer files seem to be model-dependent, so using pregenerated files is not reliable.
Is there a solution for using openvino-quantized embedder/reranker models from huggingface hub? Or do I have to quantize base models (eg, BAAI/bge-base-en-v1.5) myself with export_model.py
- 主要言語
- C++
- スター
- 952
- フォーク
- 285
- 平均マージ
- 3日 5時間
- マージ済み PR（30日）
- 45
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
openvinotoolkit/model_server のほかの issue
-
KServe REST parser drops requested outputs except the last対応中かも @YugShah1510 が 3 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
openvinotoolkit/model_server#4690 ·
メンテナーはふだん 2 日以内に返信
-
KServe REST rejects INT64 and UINT64 values outside 32-bit range対応中かも @YugShah1510 が 3 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 25/100
openvinotoolkit/model_server#4688 ·
メンテナーはふだん 2 日以内に返信
-
Preserve double precision when parsing FP64 REST inputs対応中かも @YugShah1510 が 3 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
openvinotoolkit/model_server#4686 ·
メンテナーはふだん 2 日以内に返信
-
Rerank with an empty documents array or object documents fails with an internal tokenizer error対応中かも @Daksha1611 が 7 日前に担当しました。 オープン
難易度 4/5 1〜2日 初心者へのやさしさ 24/100
openvinotoolkit/model_server#4671 ·
メンテナーはふだん 2 日以内に返信
-
Downloading an image from a URL has no timeout対応中かも @Daksha1611 が 8 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
openvinotoolkit/model_server#4669 ·
メンテナーはふだん 2 日以内に返信
openvinotoolkit/model_server の issue をすべて見る
似ている issue
-
[Bug] [Go] Ack returns nil when the server answers with a non-OK status対応中かも @leizhiyuan が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
apache/rocketmq-clients#1465 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
KhronosGroup/Vulkan-Tutorial#534 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 2 日以内に返信
-
bug IO
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
MrNeRF/LichtFeld-Studio#3824 ·
メンテナーはふだん 1 日以内に返信
-
pnnx: manual tanh GELU fusion loses the approximation mode対応中かも @ktz03 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
Tencent/ncnn#7175 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信