Python: Bug: ChatMessageContent.from_element drops AudioContent and BinaryContent into raw TextContent
维护者通常 3 天内回复
评估
调研方向
从python/semantic_kernel/contents/chat_message_content.py开始,阅读TAG_CONTENT_MAP以及from_element()对内容标签的处理。检查AudioContent和BinaryContent如何序列化和反序列化,然后验证 XML 和 prompt 往返后能保留其项目类型。还要检查semantic_kernel.contents.__all__对BinaryContent的导出;完成标准是这两种类型往返后都不会变成TextContent。
由索引模型根据 Issue 内容生成。
描述
Describe the bug
When ChatMessageContent containing AudioContent or BinaryContent is converted to an XML Element and deserialized via ChatMessageContent.from_element(), or round-tripped through prompt rendering (ChatHistory.to_prompt() / ChatHistory.from_rendered_prompt()), the AudioContent and BinaryContent items are corrupted into TextContent containing literal XML tags (e.g. <audio>...</audio>), and a warning is logged:
Unknown tag "audio" in ChatMessageContent, treating as text
Where
In python/semantic_kernel/contents/chat_message_content.py:
TAG_CONTENT_MAP includes tags for annotation, text, file_reference, function_call, function_result, image, reasoning, and streaming variants, but omits AUDIO_CONTENT_TAG ("audio") and BINARY_CONTENT_TAG ("binary").
Also, BinaryContent is omitted from semantic_kernel.contents.__all__.
To Reproduce
from semantic_kernel.contents import AudioContent, ChatMessageContent, AuthorRole
ac = AudioContent(data=b"test_audio", mime_type="audio/mpeg")
cmc = ChatMessageContent(role=AuthorRole.USER, items=[ac])
elem = cmc.to_element()
restored = ChatMessageContent.from_element(elem)
assert cmc == restored
# Fails:
# WARNING:root:Unknown tag "audio" in ChatMessageContent, treating as text
# AssertionError: ChatMessageContent(..., items=[AudioContent(...)]) != ChatMessageContent(..., items=[TextContent(text='<audio>data:audio/mpeg;,test_audio</audio>')])
Expected behavior
ChatMessageContent.from_element() correctly deserializes <audio> into AudioContent and <binary> into BinaryContent, preserving item types across prompt and XML round trips.
Platform
- Language: Python
- Source: main branch
- OS: Mac / Linux / Windows
- 主要语言
- C#
- 星标
- 28.8k
- 派生
- 4.9k
- 平均合并
- 2 天 17 小时
- 30 天内合并 PR
- 48
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
microsoft/semantic-kernel 的其他 Issue
-
Python: Bug: Redis search returns None for every field that declares a storage_name, because RETURN lists the declared name可能已有人在做 @wasim-builds 于 9 天前认领。 未关闭python triage
难度 2/5 1-3 小时 新手友好度 78/100
microsoft/semantic-kernel#14753 · 1 条评论 ·
维护者通常 3 天内回复
-
.Net: gpt-image-1 is the default image model in the .NET OpenAI connector, and OpenAI shuts it down on October 23可能已有人在做 @nightcityblade 于 46 天前认领。 未关闭.NET triage
难度 2/5 1-3 小时 新手友好度 73/100
microsoft/semantic-kernel#14526 · 1 条评论 ·
维护者通常 3 天内回复
-
Python: VolatileMemoryStore.get_batch and get_nearest_matches ignore with_embeddings=False (deepcopy result is discarded)可能已有人在做 @VANDRANKI 于 48 天前认领。 未关闭python triage
难度 2/5 1-3 小时 新手友好度 84/100
microsoft/semantic-kernel#14522 ·
维护者通常 3 天内回复
-
.Net: Bug: BinaryContent does not decode the %xx escapes of a non-base64 data URI可能已有人在做 @Laurianti 于 48 天前认领。 未关闭.NET triage
难度 2/5 1-3 小时 新手友好度 76/100
microsoft/semantic-kernel#14518 ·
维护者通常 3 天内回复
-
Python: FunctionCallContent.combine_arguments drops a streamed "{}" chunk, producing invalid JSON arguments可能已有人在做 @VANDRANKI 于 49 天前认领。 未关闭python triage
难度 2/5 1-3 小时 新手友好度 82/100
microsoft/semantic-kernel#14512 · 2 条评论 ·
维护者通常 3 天内回复
查看 microsoft/semantic-kernel 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
Support Flux ignore rules (drift detection ignore paths) in Microsoft.KubernetesConfiguration schema未关闭
难度 2/5 1-3 小时 新手友好度 65/100
Azure/azure-resource-manager-schemas#3921 ·
维护者通常 1 天内回复
-
text-align: justify is ignored in HTML to PDF conversion可能已有人在做 @PrzemyslawKlys 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 78/100
维护者通常 4 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
asyncapi/modelina#2709 · 1 条评论 ·
维护者通常 1 天内回复