Multimodal writes fail entirely when embeddings are enabled (non-text piece crashes the add)
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
从 MemoryInterface.add_message_pieces_to_memory 开始,跟踪其调用直到 generate_embedding_memory_data。使用包含文本和 image_path 片段的多模态消息验证其行为:文本应获得 embeddings,而非文本片段仍应在没有 embedding 行的情况下持久化,并且整个添加操作应成功。
由索引模型根据 Issue 内容生成。
描述
what happens
MemoryInterface.add_message_pieces_to_memory with embeddings enabled iterates ALL received message pieces (minus not_in_memory) and calls generate_embedding_memory_data on each. that helper raises for non-text pieces, so a multimodal message (text plus an image_path piece) fails its whole write when embeddings are on, instead of persisting the message and embedding just the text.
repro
send any multimodal message with memory_embedding configured: the image_path piece hits the embedding generator, which rejects non-text data, and the entire add fails.
expected
text pieces embed; non-text pieces persist without an embedding row. embeddings only power text similarity search, so nothing is lost.
env: main 5503ecb
- 主要语言
- Python
- 星标
- 4.5k
- 派生
- 896
- 平均合并
- 3 天 1 小时
- 30 天内合并 PR
- 208
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README,通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
microsoft/PyRIT 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 86/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
相似的 Issue
-
documentation
难度 2/5 1-3 小时 新手友好度 70/100
kristofdegrave/homeassistant-smart-charging#1413 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
nasa/earthdata-varinfo#113 ·
-
curriculum documentation quality
难度 2/5 1-3 小时 新手友好度 88/100
githubnext/gh-aw-workshop#3849 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 90/100
-
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复