Python: Bug: ChatMessageContent.from_element drops AudioContent and BinaryContent into raw TextContent

Abierto Apto para principiantes
#14,824 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 3 días

@halcyon-past ya está trabajando en esto.

Desde el 18/11/2026.

  • #14825 de @halcyon-past — abierto

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
75/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
python
Área
backend

Línea de trabajo

Empieza en python/semantic_kernel/contents/chat_message_content.py leyendo TAG_CONTENT_MAP y el tratamiento de las etiquetas de contenido en from_element(). Comprueba cómo se serializan y deserializan AudioContent y BinaryContent, y verifica después que los viajes de ida y vuelta de XML y de prompts conservan sus tipos de elemento. Comprueba también la exportación de BinaryContent en semantic_kernel.contents.__all__; la tarea se considera completada cuando ambos tipos realizan el viaje de ida y vuelta sin convertirse en TextContent.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Describe the bug

When ChatMessageContent containing AudioContent or BinaryContent is converted to an XML Element and deserialized via ChatMessageContent.from_element(), or round-tripped through prompt rendering (ChatHistory.to_prompt() / ChatHistory.from_rendered_prompt()), the AudioContent and BinaryContent items are corrupted into TextContent containing literal XML tags (e.g. <audio>...</audio>), and a warning is logged:
Unknown tag "audio" in ChatMessageContent, treating as text

Where

In python/semantic_kernel/contents/chat_message_content.py:
TAG_CONTENT_MAP includes tags for annotation, text, file_reference, function_call, function_result, image, reasoning, and streaming variants, but omits AUDIO_CONTENT_TAG ("audio") and BINARY_CONTENT_TAG ("binary").

Also, BinaryContent is omitted from semantic_kernel.contents.__all__.

To Reproduce
from semantic_kernel.contents import AudioContent, ChatMessageContent, AuthorRole

ac = AudioContent(data=b"test_audio", mime_type="audio/mpeg")
cmc = ChatMessageContent(role=AuthorRole.USER, items=[ac])
elem = cmc.to_element()
restored = ChatMessageContent.from_element(elem)

assert cmc == restored
# Fails:
# WARNING:root:Unknown tag "audio" in ChatMessageContent, treating as text
# AssertionError: ChatMessageContent(..., items=[AudioContent(...)]) != ChatMessageContent(..., items=[TextContent(text='<audio>data:audio/mpeg;,test_audio</audio>')])
Expected behavior

ChatMessageContent.from_element() correctly deserializes <audio> into AudioContent and <binary> into BinaryContent, preserving item types across prompt and XML round trips.

Platform
  • Language: Python
  • Source: main branch
  • OS: Mac / Linux / Windows
Lenguaje dominante
C#
Estrellas
28.8k
Forks
4.9k
Merge medio
2 d 17 h
PR fusionados (30 d)
48

Preparar el entorno

Abrir en Codespaces

Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de microsoft/semantic-kernel

Todos los issues de microsoft/semantic-kernel

Issues similares

Más issues de C#

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.