[Feature] 支持 qwen3-vl-embedding 等多模态向量模型的图文检索

Offen

#6,879 erstellt am 03.9.2026 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 30/100

Issue-Typ: Feature
Klarheit: Muss geklärt werden
Aktivitätsstatus: Aktiv
Tech-Stack: python
Bereich: backend, databases, machine-learning

Rechercherichtung

Beginne damit, die PGVector-Einstiegspunkte für Ingestion und Abfragen nachzuverfolgen, die embed_query(text) und embed_documents(List[str]) aufrufen, und untersuche anschließend die unterstützten Eingabetypen der Modellabstraktion. Lege fest, wie Bild- und gemischte Text-Bild-Eingaben, Modellmetadaten, Dimensionen und Informationen zur Modalität dargestellt werden, während bestehende Texteambeddings erhalten bleiben. Als abgeschlossen gilt die Änderung, wenn kompatible Ingestion- und Retrieval-Pfade die angeforderten Modalitäten unterstützen, ohne inkompatible Vektoren zu vermischen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Type: Feature Request

MaxKB Version

2.10.5

Please describe your needs or suggestions for improvements

当前 MaxKB 的知识库向量化和检索流程只支持纯文本 Embedding，无法使用 qwen3-vl-embedding 等多模态向量模型进行图片向量化和图文跨模态检索。

在配置多模态向量模型后，图片内容仍只能先经过 OCR 或视觉模型转换为文本，再生成文本向量，无法直接生成图片向量。因此无法实现“文字检索图片”“图片检索文字”以及图文统一向量空间检索。

Please describe the solution you suggest

建议增加多模态向量模型能力：

在模型配置中标识文本、图片或图文多模态输入能力；
向量化任务支持将图片文件传递给 Embedding 模型，而不仅是 List[str]；
查询侧支持文本、图片和图文混合输入；
向量存储和索引记录模型、维度及模态信息，避免与现有文本向量混用；
保持现有纯文本 Embedding 和已有知识库的兼容性。

Additional Information

MaxKB v2.10.5-lts 的 PGVector 入库和查询均调用 embed_query(text) / embed_documents(List[str])，当前模型抽象没有图片输入通道。

Vorherrschende Sprache: Python
Sterne: 22.8k
Forks: 3.2k
Ø Merge: 46 Min.
Gemergte PRs (30 T.): 322

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus 1Panel-dev/MaxKB

[Bug] 智能体调用子智能体的场景，从v2.10.3升级到v2.10.6 后企微机器人对话报错500，对话不存在 Offen

1Panel-dev/MaxKB#7143 · 1 zugewiesene Person · Erstellt am 22.9.2026
[Feature] 知识库文档上传单文件大小上限（当前固定 1000MB）希望支持环境变量配置 Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 72/100

1Panel-dev/MaxKB#7081 · 1 Kommentar · Erstellt am 17.9.2026
[Bug] 对接 vLLM 部署Qwen3.8-27B模型，开启思考模式后前端无法显示思考过程 Offen

Status: Awaiting Feedback

1Panel-dev/MaxKB#7069 · 9 Kommentare · 1 zugewiesene Person · Erstellt am 16.9.2026
[Bug] 当知识库导入分段内容过大时，会报错Request body exceeded settings.DATA_UPLOAD _MAX_MEMORY_SIZE. Offen

Type: Bug

1Panel-dev/MaxKB#7062 · 2 Kommentare · 1 zugewiesene Person · Erstellt am 16.9.2026
[Bug] 工作流工具的执行记录，重复保存了，且重复保存的那条数据还有问题 Offen

1Panel-dev/MaxKB#7053 · 1 zugewiesene Person · Erstellt am 15.9.2026

Alle Issues in 1Panel-dev/MaxKB