[Feature] 支持 qwen3-vl-embedding 等多模态向量模型的图文检索
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 30/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- backend, databases, machine-learning
Hướng nghiên cứu
Bắt đầu bằng cách lần theo các điểm vào ingestion và query của PGVector gọi embed_query(text) và embed_documents(List[str]), sau đó kiểm tra các kiểu đầu vào được abstraction của model hỗ trợ. Xác định cách biểu diễn đầu vào hình ảnh và đầu vào hỗn hợp văn bản-hình ảnh, metadata của model, số chiều và thông tin modality, đồng thời giữ nguyên các text embedding hiện có. Được xem là hoàn tất khi các đường dẫn ingestion và retrieval tương thích hỗ trợ các modality được yêu cầu mà không trộn lẫn các vector không tương thích.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
MaxKB Version
2.10.5
Please describe your needs or suggestions for improvements
当前 MaxKB 的知识库向量化和检索流程只支持纯文本 Embedding，无法使用 qwen3-vl-embedding 等多模态向量模型进行图片向量化和图文跨模态检索。
在配置多模态向量模型后，图片内容仍只能先经过 OCR 或视觉模型转换为文本，再生成文本向量，无法直接生成图片向量。因此无法实现“文字检索图片”“图片检索文字”以及图文统一向量空间检索。
Please describe the solution you suggest
建议增加多模态向量模型能力：
- 在模型配置中标识文本、图片或图文多模态输入能力；
- 向量化任务支持将图片文件传递给 Embedding 模型，而不仅是
List[str]； - 查询侧支持文本、图片和图文混合输入；
- 向量存储和索引记录模型、维度及模态信息，避免与现有文本向量混用；
- 保持现有纯文本 Embedding 和已有知识库的兼容性。
Additional Information
MaxKB v2.10.5-lts 的 PGVector 入库和查询均调用 embed_query(text) / embed_documents(List[str])，当前模型抽象没有图片输入通道。
- Ngôn ngữ chính
- Python
- Star
- 22.9k
- Fork
- 3.2k
- Merge trung bình
- 46 phút
- Pull request đã merge (30 ngày)
- 316
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của 1Panel-dev/MaxKB
-
[Bug] 智能体调用子智能体的场景，从v2.10.3升级到v2.10.6 后企微机器人对话报错500，对话不存在Có thể đã có người làm @zyyfit đã nhận 4 ngày trước. Đang mở
1Panel-dev/MaxKB#7143 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 72/100
1Panel-dev/MaxKB#7081 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] 对接 vLLM 部署Qwen3.8-27B模型，开启思考模式后前端无法显示思考过程Có thể đã có người làm @zyyfit đã nhận 10 ngày trước. Đang mởStatus: Awaiting Feedback
1Panel-dev/MaxKB#7069 · 9 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] 当知识库导入分段内容过大时，会报错Request body exceeded settings.DATA_UPLOAD _MAX_MEMORY_SIZE.Có thể đã có người làm @zyyfit đã nhận 11 ngày trước. Đang mởType: Bug
1Panel-dev/MaxKB#7062 · 2 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] 工作流工具的执行记录，重复保存了，且重复保存的那条数据还有问题Có thể đã có người làm @zyyfit đã nhận 11 ngày trước. Đang mở
1Panel-dev/MaxKB#7053 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của 1Panel-dev/MaxKB
Issue tương tự
-
pydanty:is-working
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
pydantic/pydantic-ai#8843 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
breaking change enhancement server
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
sktime/sktime#11310 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày