Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

[Feature] 支持 qwen3-vl-embedding 等多模态向量模型的图文检索

Ouverte
#6,879 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
30/100
Type d'issue
Fonctionnalité
Clarté
À clarifier
Activité
Active
Stack technique
python
Domaine
backend, databases, machine-learning

Piste de recherche

Commencez par suivre les points d’entrée d’ingestion et de requête de PGVector qui appellent embed_query(text) et embed_documents(List[str]), puis examinez les types d’entrée pris en charge par l’abstraction du modèle. Définissez la manière dont sont représentées les entrées d’image et les entrées mixtes texte-image, les métadonnées du modèle, les dimensions et les informations de modalité, tout en préservant les embeddings de texte existants. Le travail est considéré comme terminé lorsque les chemins d’ingestion et de récupération compatibles prennent en charge les modalités demandées sans mélanger de vecteurs incompatibles.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Type: Feature Request
MaxKB Version

2.10.5

Please describe your needs or suggestions for improvements

当前 MaxKB 的知识库向量化和检索流程只支持纯文本 Embedding，无法使用 qwen3-vl-embedding 等多模态向量模型进行图片向量化和图文跨模态检索。

在配置多模态向量模型后，图片内容仍只能先经过 OCR 或视觉模型转换为文本，再生成文本向量，无法直接生成图片向量。因此无法实现“文字检索图片”“图片检索文字”以及图文统一向量空间检索。

Please describe the solution you suggest

建议增加多模态向量模型能力：

  • 在模型配置中标识文本、图片或图文多模态输入能力；
  • 向量化任务支持将图片文件传递给 Embedding 模型，而不仅是 List[str]；
  • 查询侧支持文本、图片和图文混合输入；
  • 向量存储和索引记录模型、维度及模态信息，避免与现有文本向量混用；
  • 保持现有纯文本 Embedding 和已有知识库的兼容性。
Additional Information

MaxKB v2.10.5-lts 的 PGVector 入库和查询均调用 embed_query(text) / embed_documents(List[str])，当前模型抽象没有图片输入通道。

Langage dominant
Python
Étoiles
22.8k
Forks
3.2k
Merge moyen
46 min
PR mergées (30 j)
322

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de 1Panel-dev/MaxKB

Toutes les issues de 1Panel-dev/MaxKB

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.