Python: [Bug]: Content.from_dict leaves the nested content of image generation and MCP server tool results as plain dicts
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 77/100
Línea de trabajo
Empieza en agent_framework/_types.py, en Content.from_dict, donde se reconstruyen los valores anidados de outputs y output. Busca las pruebas existentes para Content.from_dict y añade casos de regresión para una única asignación de outputs de generación de imágenes, elementos MCP de output y salidas JSON simples. El trabajo estará terminado cuando las asignaciones de contenido reconocidas se restauren como Content, mientras que los valores MCP simples permanezcan sin cambios.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Observed Behavior
After a to_dict() / from_dict() round trip, two kinds of nested content come back as plain dicts instead of Content:
- the
outputsof animage_generation_tool_result. The OpenAI chat client sets it to a singleContent(the generated image as a data URI). - the items of the
outputlist of anmcp_server_tool_result. The OpenAI and Anthropic chat clients set it to a list ofContent.
This happens wherever messages are saved and loaded, for example when an AgentSession with its history is serialized with to_dict() and restored with AgentSession.from_dict(), or with Message.from_dict() directly. Code that expects Content then loses the data. For example, the Responses host reads the generated image with _image_generation_result(), which returns None for the restored result, so the image is dropped from the output item.
from_dict already rebuilds other nested content (function_call, screenshot, the inputs and outputs lists, items), but not a single outputs value or the output list.
Expected Behavior
The nested image and MCP output content comes back as Content, the same as before saving. MCP outputs that are plain JSON values stay unchanged.
Steps to Reproduce
- Build a message with an image generation result and an MCP server tool result, as the OpenAI chat client does.
- Save and restore it (here through an
AgentSession). - Check the type of the nested values.
Minimal Reproduction
from agent_framework import AgentSession, Content, Message
from agent_framework_hosting_responses._parsing import _image_generation_result
message = Message("assistant", [
Content.from_image_generation_tool_result(
image_id="ig_1", outputs=Content.from_uri("data:image/png;base64,iVBORw0KGgo=")
),
Content.from_mcp_server_tool_result("mcp_1", output=[Content.from_text("42")]),
])
session = AgentSession()
session.state["history"] = {"messages": [message]}
restored = AgentSession.from_dict(session.to_dict()).state["history"]["messages"][0]
print(type(restored.contents[0].outputs).__name__) # dict (expected Content)
print(type(restored.contents[1].output[0]).__name__) # dict (expected Content)
print(_image_generation_result(message.contents[0].outputs)) # iVBORw0KGgo=
print(_image_generation_result(restored.contents[0].outputs)) # None
The cause is in Content.from_dict in agent_framework/_types.py: it rebuilds outputs only when it is a list, and it does not look at output at all.
Error Messages and Stack Traces
No error. The restored values are plain dicts, so the image or tool output is silently lost where Content is expected.
Package Versions
agent-framework-core: 1.21.0 (main at a75e803ef), agent-framework-hosting-responses: 1.0.0a261008
Python Version
Python 3.12
Additional Context
I'd like to fix this. In Content.from_dict, also rebuild a single outputs mapping and the items of an output list, but only mappings whose type is a known content type, so plain MCP outputs stay as they are. Plus regression tests.
AI assistance: I used an AI coding assistant for the analysis and to draft this report. I reproduced and verified the behavior myself.
- Lenguaje dominante
- Python
- Estrellas
- 14k
- Forks
- 2.5k
- Merge medio
- 2 d 7 h
- PR fusionados (30 d)
- 416
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de microsoft/agent-framework
-
Python: [Bug]: Out-of-range Cosmos memory search parameters silently disable retrievalPosiblemente ocupada @eavanvalkenburg la tomó hace 2 días. Abiertopython
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
microsoft/agent-framework#9317 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Python: [Bug]: A non-positive MCP request timeout silently disables the timeoutPosiblemente ocupada @jpalvarezl la tomó hace 2 días. Abiertopython
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
microsoft/agent-framework#9313 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
.NET: Proposal: add an llms.txtAbierto.NET python triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
microsoft/agent-framework#9092 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Python: raw-data content mappings lose annotations and attachment metadataPosiblemente ocupada @moonbox3 la tomó hace 15 días. Abiertopython triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
microsoft/agent-framework#8632 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Python: Clarify when to use platformPosiblemente ocupada @eavanvalkenburg la tomó hace 14 días. Abiertopython triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
microsoft/agent-framework#8599 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de microsoft/agent-framework
Issues similares
-
`LazyFrameRemote` and `ExecuteRemote` sinks do not accept `Path`, like `LazyFrame` sinks do.Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
WingedGuardian/GENesis-AGI#3375 ·
Los mantenedores suelen responder en 1 día
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
githubnext/gh-aw-workshop#4601 ·
Los mantenedores suelen responder en 1 día
-
approved Good First Issue scope: docs
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
hiero-ledger/hiero-sdk-python#2730 · 3 comentarios ·
Los mantenedores suelen responder en 1 día