Python: Bug: ChatMessageContent.from_element drops AudioContent and BinaryContent into raw TextContent
メンテナーはふだん 3 日以内に返信
評価
調査の方向性
python/semantic_kernel/contents/chat_message_content.pyでTAG_CONTENT_MAPと、from_element()におけるコンテンツタグの処理を確認してください。AudioContentとBinaryContentのシリアライズとデシリアライズの方法を調べ、XMLとプロンプトの往復で項目の型が保持されることを確認してください。また、semantic_kernel.contents.__all__でのBinaryContentのエクスポートも確認してください。両方の型がTextContentに変わらず往復できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Describe the bug
When ChatMessageContent containing AudioContent or BinaryContent is converted to an XML Element and deserialized via ChatMessageContent.from_element(), or round-tripped through prompt rendering (ChatHistory.to_prompt() / ChatHistory.from_rendered_prompt()), the AudioContent and BinaryContent items are corrupted into TextContent containing literal XML tags (e.g. <audio>...</audio>), and a warning is logged:
Unknown tag "audio" in ChatMessageContent, treating as text
Where
In python/semantic_kernel/contents/chat_message_content.py:
TAG_CONTENT_MAP includes tags for annotation, text, file_reference, function_call, function_result, image, reasoning, and streaming variants, but omits AUDIO_CONTENT_TAG ("audio") and BINARY_CONTENT_TAG ("binary").
Also, BinaryContent is omitted from semantic_kernel.contents.__all__.
To Reproduce
from semantic_kernel.contents import AudioContent, ChatMessageContent, AuthorRole
ac = AudioContent(data=b"test_audio", mime_type="audio/mpeg")
cmc = ChatMessageContent(role=AuthorRole.USER, items=[ac])
elem = cmc.to_element()
restored = ChatMessageContent.from_element(elem)
assert cmc == restored
# Fails:
# WARNING:root:Unknown tag "audio" in ChatMessageContent, treating as text
# AssertionError: ChatMessageContent(..., items=[AudioContent(...)]) != ChatMessageContent(..., items=[TextContent(text='<audio>data:audio/mpeg;,test_audio</audio>')])
Expected behavior
ChatMessageContent.from_element() correctly deserializes <audio> into AudioContent and <binary> into BinaryContent, preserving item types across prompt and XML round trips.
Platform
- Language: Python
- Source: main branch
- OS: Mac / Linux / Windows
- 主要言語
- C#
- スター
- 28.8k
- フォーク
- 4.9k
- 平均マージ
- 2日 17時間
- マージ済み PR(30日)
- 48
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
microsoft/semantic-kernel のほかの issue
-
Python: Bug: Redis search returns None for every field that declares a storage_name, because RETURN lists the declared name対応中かも @wasim-builds が 9 日前に担当しました。 オープンpython triage
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
microsoft/semantic-kernel#14753 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
.Net: gpt-image-1 is the default image model in the .NET OpenAI connector, and OpenAI shuts it down on October 23対応中かも @nightcityblade が 46 日前に担当しました。 オープン.NET triage
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
microsoft/semantic-kernel#14526 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
Python: VolatileMemoryStore.get_batch and get_nearest_matches ignore with_embeddings=False (deepcopy result is discarded)対応中かも @VANDRANKI が 48 日前に担当しました。 オープンpython triage
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
microsoft/semantic-kernel#14522 ·
メンテナーはふだん 3 日以内に返信
-
.Net: Bug: BinaryContent does not decode the %xx escapes of a non-base64 data URI対応中かも @Laurianti が 48 日前に担当しました。 オープン.NET triage
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
microsoft/semantic-kernel#14518 ·
メンテナーはふだん 3 日以内に返信
-
Python: FunctionCallContent.combine_arguments drops a streamed "{}" chunk, producing invalid JSON arguments対応中かも @VANDRANKI が 49 日前に担当しました。 オープンpython triage
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
microsoft/semantic-kernel#14512 · コメント 2 件 ·
メンテナーはふだん 3 日以内に返信
microsoft/semantic-kernel の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
Support Flux ignore rules (drift detection ignore paths) in Microsoft.KubernetesConfiguration schemaオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
Azure/azure-resource-manager-schemas#3921 ·
メンテナーはふだん 1 日以内に返信
-
text-align: justify is ignored in HTML to PDF conversion対応中かも @PrzemyslawKlys が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
メンテナーはふだん 4 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
asyncapi/modelina#2709 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信