Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

[Feature] 支持 qwen3-vl-embedding 等多模态向量模型的图文检索

Aberta
#6,879 1 comentário 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
5/5
Tempo estimado
Mais de uma semana
Facilidade para iniciantes
30/100
Tipo de issue
Funcionalidade
Clareza
Precisa de esclarecimento
Status de atividade
Ativa
Stack de tecnologia
python
Domínio
backend, databases, machine-learning

Direção de pesquisa

Comece rastreando os pontos de entrada de ingestão e consulta do PGVector que chamam embed_query(text) e embed_documents(List[str]) e, em seguida, inspecione os tipos de entrada compatíveis com a abstração do modelo. Defina como as entradas de imagem e as entradas mistas de texto e imagem, os metadados do modelo, as dimensões e as informações de modalidade são representados, preservando os embeddings de texto existentes. O trabalho estará concluído quando os caminhos compatíveis de ingestão e recuperação oferecerem suporte às modalidades solicitadas sem misturar vetores incompatíveis.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Type: Feature Request
MaxKB Version

2.10.5

Please describe your needs or suggestions for improvements

当前 MaxKB 的知识库向量化和检索流程只支持纯文本 Embedding，无法使用 qwen3-vl-embedding 等多模态向量模型进行图片向量化和图文跨模态检索。

在配置多模态向量模型后，图片内容仍只能先经过 OCR 或视觉模型转换为文本，再生成文本向量，无法直接生成图片向量。因此无法实现“文字检索图片”“图片检索文字”以及图文统一向量空间检索。

Please describe the solution you suggest

建议增加多模态向量模型能力：

  • 在模型配置中标识文本、图片或图文多模态输入能力；
  • 向量化任务支持将图片文件传递给 Embedding 模型，而不仅是 List[str]；
  • 查询侧支持文本、图片和图文混合输入；
  • 向量存储和索引记录模型、维度及模态信息，避免与现有文本向量混用；
  • 保持现有纯文本 Embedding 和已有知识库的兼容性。
Additional Information

MaxKB v2.10.5-lts 的 PGVector 入库和查询均调用 embed_query(text) / embed_documents(List[str])，当前模型抽象没有图片输入通道。

Linguagem predominante
Python
Estrelas
22.8k
Forks
3.2k
Merge médio
46min
PRs com merge (30d)
322

Guia de contribuição

Abrir o guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de 1Panel-dev/MaxKB

Todas as issues de 1Panel-dev/MaxKB

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.