Using openvino-quantized embedder and reranker from huggingface hub
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- huggingface
Línea de trabajo
Comienza rastreando cómo model_server consume graph.pbtxt y los recursos del tokenizer para modelos embedder y reranker desde Hugging Face Hub. Compara los flujos de trabajo referenciados de OpenVINO/bge-base-en-v1.5-int8-ov y BAAI/bge-base-en-v1.5, incluido export_model.py; el trabajo estará terminado cuando se establezca una forma compatible de cargar los modelos cuantizados sin cuantización manual.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
For my application (which relies on openvino model server), I would like to use openvino-quantized models from huggingface hub and avoid doing the quantization step myself.
For chat llm models, eg, OpenVINO/Qwen2.5-7B-Instruct-int4-ov, I'll need an additional graph.pbtxt for ovms to work. It seems that I can use the same graph.pbtxt for all models, so I can include a pre-generated graph.pbtxt .
However, for embedder (and reranker) models, eg, OpenVINO/bge-base-en-v1.5-int8-ov, I'll need to include graph.pbtxt, openvino_detokenizer.bin, and openvino_detokenizer.xml. The tokenizer files seem to be model-dependent, so using pregenerated files is not reliable.
Is there a solution for using openvino-quantized embedder/reranker models from huggingface hub? Or do I have to quantize base models (eg, BAAI/bge-base-en-v1.5) myself with export_model.py
- Lenguaje dominante
- C++
- Estrellas
- 952
- Forks
- 285
- Merge medio
- 3 d 5 h
- PR fusionados (30 d)
- 45
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de openvinotoolkit/model_server
-
KServe REST parser drops requested outputs except the lastPosiblemente ocupada @YugShah1510 la tomó hace 3 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
openvinotoolkit/model_server#4690 ·
Los mantenedores suelen responder en 2 días
-
KServe REST rejects INT64 and UINT64 values outside 32-bit rangePosiblemente ocupada @YugShah1510 la tomó hace 3 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100
openvinotoolkit/model_server#4688 ·
Los mantenedores suelen responder en 2 días
-
Preserve double precision when parsing FP64 REST inputsPosiblemente ocupada @YugShah1510 la tomó hace 3 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
openvinotoolkit/model_server#4686 ·
Los mantenedores suelen responder en 2 días
-
Rerank with an empty documents array or object documents fails with an internal tokenizer errorPosiblemente ocupada @Daksha1611 la tomó hace 6 días. Abierto
Dificultad 4/5 1-2 días Aptitud para principiantes 24/100
openvinotoolkit/model_server#4671 ·
Los mantenedores suelen responder en 2 días
-
Downloading an image from a URL has no timeoutPosiblemente ocupada @Daksha1611 la tomó hace 7 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
openvinotoolkit/model_server#4669 ·
Los mantenedores suelen responder en 2 días
Todos los issues de openvinotoolkit/model_server
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
sistemicorp/scripts#62 ·
-
Vim/NeoVim pluginAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
extended_stabilizer: `std::pow(2, p/2.)` in `scalar_t::to_complex()` takes ~40% of runtime on LinuxPosiblemente ocupada @mehmetniyazikayi la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Qiskit/qiskit-aer#2502 ·
Los mantenedores suelen responder en 1 día
-
Test failure on FreeBSD: #26 unexpected system_clock sourcePosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abiertolow priority rt_lib tests
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
RobLoach/raylib-cpp#440 · 2 comentarios ·