[Feature] 支持 qwen3-vl-embedding 等多模态向量模型的图文检索
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 30/100
- Issue 類型
- 功能
- 描述清晰度
- 需要釐清
- 活躍度
- 活躍
- 技術堆疊
- python
研究方向
首先追蹤呼叫 embed_query(text) 和 embed_documents(List[str]) 的 PGVector 擷取與查詢入口,然後檢查模型抽象所支援的輸入類型。定義影像輸入與混合文字-影像輸入、模型中繼資料、維度以及模態資訊的表示方式,同時保留現有的文字嵌入。完成的標準是:相容的擷取與檢索路徑支援所要求的模態,且不混合不相容的向量。
由索引模型根據 Issue 內容生成。
描述
MaxKB Version
2.10.5
Please describe your needs or suggestions for improvements
当前 MaxKB 的知识库向量化和检索流程只支持纯文本 Embedding,无法使用 qwen3-vl-embedding 等多模态向量模型进行图片向量化和图文跨模态检索。
在配置多模态向量模型后,图片内容仍只能先经过 OCR 或视觉模型转换为文本,再生成文本向量,无法直接生成图片向量。因此无法实现“文字检索图片”“图片检索文字”以及图文统一向量空间检索。
Please describe the solution you suggest
建议增加多模态向量模型能力:
- 在模型配置中标识文本、图片或图文多模态输入能力;
- 向量化任务支持将图片文件传递给 Embedding 模型,而不仅是
List[str]; - 查询侧支持文本、图片和图文混合输入;
- 向量存储和索引记录模型、维度及模态信息,避免与现有文本向量混用;
- 保持现有纯文本 Embedding 和已有知识库的兼容性。
Additional Information
MaxKB v2.10.5-lts 的 PGVector 入库和查询均调用 embed_query(text) / embed_documents(List[str]),当前模型抽象没有图片输入通道。
- 主要語言
- Python
- 星號
- 22.9k
- 分支
- 3.2k
- 平均合併
- 2 小時 24 分鐘
- 30 天內合併 PR
- 214
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue,再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫,在一個分支上完成修改。
- 送出 Pull Request,並在描述裡引用這個 Issue 編號。
1Panel-dev/MaxKB 的其他 Issue
-
難度 2/5 1-3 小時 新手友好度 62/100
1Panel-dev/MaxKB#7228 ·
維護者通常 1 天內回覆
-
[Feature] support mysql可能已有人在做 @baixin513 於 1 天前認領。 未關閉
1Panel-dev/MaxKB#7249 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
[Feature] 优化 待改进的问题可能已有人在做 @baixin513 於 1 天前認領。 未關閉
1Panel-dev/MaxKB#7247 · 1 則留言 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
[Bug] 芯片型号在自定义分词维护好后,重新对文档进行分词索引,然后在命中测试里和工作流知识库检索节点测试发现不起作用,还是检索不到可能已有人在做 @Shenguobin0102 於 2 天前認領。 未關閉Type: Bug
1Panel-dev/MaxKB#7234 · 1 則留言 · 已指派 2 人 ·
維護者通常 1 天內回覆
-
[Bug] “用户输入”中的“显隐设置”选择全局变量无法发布可能已有人在做 @zyyfit 於 9 天前認領。 未關閉Type: Bug
1Panel-dev/MaxKB#7224 · 1 則留言 · 已指派 1 人 ·
維護者通常 1 天內回覆
相似的 Issue
-
Performance: deprecated DeviceEntry.config_entries access blocks the event loop for tens of seconds未關閉
難度 2/5 1-3 小時 新手友好度 75/100
tuya/tuya_cloud_ha_bridge#14 ·
-
bug
難度 2/5 1-3 小時 新手友好度 72/100
semantica-agi/semantica#1968 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 62/100
維護者通常 1 天內回覆
-
agent: ready area: submission priority: high type: docs
難度 2/5 1-3 小時 新手友好度 62/100
dkritarth/scopewatch#213 ·
維護者通常 1 天內回覆
-
Broken link in RELEASE.md可能已有人在做 @Jah-yee 今天認領。 未關閉
難度 1/5 1 小時以內 新手友好度 88/100
sphinx-contrib/httpdomain#143 ·
維護者通常 1 天內回覆