[azure-ai-projects] ResponsesInstrumentor breaks openai with_raw_response streaming (AsyncStreamWrapper wraps an unparsed LegacyAPIResponse)
メンテナーはふだん 1 日以内に返信
@M-Hietala がすでに取り組んでいます。
2026年8月20日 から。
評価
この issue はまだ評価されていません。
説明
Describe the bug
With the Responses instrumentor active, client.responses.with_raw_response.create(..., stream=True) no longer returns a raw response. It returns AsyncStreamWrapper, which:
- does not expose
.parse()or.headers, both part of thewith_raw_responsecontract; and - cannot be iterated, because its
stream_async_iteris the still-unparsedLegacyAPIResponse, which has no__anext__.
So any caller that uses with_raw_response together with streaming breaks as soon as tracing is enabled, with:
AttributeError: 'LegacyAPIResponse' object has no attribute '__anext__'
with_raw_response is the only way to read response headers (e.g. x-ms-served-model) while streaming, so this affects callers that need per-response header data.
Root cause
The instrumentor patches openai.resources.responses.AsyncResponses.create. with_raw_response.create() delegates to that same method, but sets the SDK's raw-response flag, so create returns a LegacyAPIResponse rather than an AsyncStream.
_wrap_async_streaming_response treats whatever create returned as the event stream and stores it as stream_async_iter, and AsyncStreamWrapper.__anext__ calls self.stream_async_iter.__anext__(). For the raw-response path that object is a LegacyAPIResponse, which is not an async iterator — it must have .parse() called on it first.
Verified with a debug hook on _wrap_async_streaming_response:
[wrap] _wrap_async_streaming_response receives stream=openai._legacy_response.LegacyAPIResponse
To Reproduce
Standalone: openai + azure-ai-projects only, no Azure resources needed (the transport is mocked, so the object graph is wrong before any real network call matters).
import asyncio
import httpx
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from azure.core.settings import settings
from azure.core.tracing.ext.opentelemetry_span import OpenTelemetrySpan
from azure.ai.projects.telemetry._responses_instrumentor import ResponsesInstrumentor
from openai import AsyncOpenAI
trace.set_tracer_provider(TracerProvider())
settings.tracing_implementation = OpenTelemetrySpan
SSE = (
'data: {"type":"response.output_text.delta","delta":"Hello","item_id":"m1",'
'"output_index":0,"content_index":0,"sequence_number":1,"logprobs":[]}\n\n'
"data: [DONE]\n\n"
)
transport = httpx.MockTransport(
lambda r: httpx.Response(200, headers={"content-type": "text/event-stream"}, content=SSE.encode())
)
async def main() -> None:
ResponsesInstrumentor().instrument()
client = AsyncOpenAI(api_key="k", http_client=httpx.AsyncClient(transport=transport))
raw = await client.responses.with_raw_response.create(model="gpt-4o", input="hi", stream=True)
print(f"returned type : {type(raw).__module__}.{type(raw).__name__}")
print(f" .parse() : {hasattr(raw, 'parse')}")
print(f" .headers : {hasattr(raw, 'headers')}")
inner = getattr(raw, "stream_async_iter", None)
print(f" .stream_async_iter: {type(inner).__module__}.{type(inner).__name__}")
print(f" __anext__ : {hasattr(inner, '__anext__')}")
async for _ in raw:
pass
asyncio.run(main())
Note both an OpenTelemetry TracerProvider and azure-core-tracing-opentelemetry are required — without them _create_responses_span_from_parameters returns None, the instrumentor returns the result unwrapped, and the bug does not appear. That makes it easy to miss when reproducing.
Expected behavior
with_raw_response.create(..., stream=True) should keep behaving like a raw response when tracing is on: .parse() and .headers available, and the parsed stream iterable — ideally with the wrapper still in the iteration path so telemetry is still recorded.
Actual behavior
returned type : azure.ai.projects.telemetry._responses_instrumentor.AsyncStreamWrapper
.parse() : False <- raw-response API expects True
.headers : False <- raw-response API expects True
.stream_async_iter: openai._legacy_response.LegacyAPIResponse
__anext__ : False <- wrapper iterates this
iterating the returned object:
AttributeError: 'LegacyAPIResponse' object has no attribute '__anext__'
With the instrumentor uninstrumented, the same call correctly returns:
openai._legacy_response.LegacyAPIResponse .parse()=True .headers=True
Environment
azure-ai-projects==2.3.0openai==2.53.0azure-core-tracing-opentelemetry==1.0.0b13,opentelemetry-sdk==1.44.0- Python 3.13, macOS (not platform specific)
Notes
Reported downstream as microsoft/agent-framework#7461, where enabling AZURE_EXPERIMENTAL_ENABLE_GENAI_TRACING=true made all streaming agent requests fail. microsoft/agent-framework#7705 works around it by parsing the wrapper's inner raw response and handing it back, so the wrapper stays in the iteration path and telemetry is preserved. That workaround could be dropped once this is fixed upstream.
- 主要言語
- Python
- スター
- 5.6k
- フォーク
- 3.4k
- 平均マージ
- 1日 18時間
- マージ済み PR(30日)
- 214
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Azure/azure-sdk-for-python のほかの issue
-
Evaluation Service Attention
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
Azure/azure-sdk-for-python#49190 · コメント 1 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Update CODEOWNERSオープン
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
Azure/azure-sdk-for-python#49183 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Evaluation Service Attention
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Azure/azure-sdk-for-python#49153 · コメント 1 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Search Service Attention
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
Azure/azure-sdk-for-python#48555 · コメント 1 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Azure.Core customer-reported feature-request needs-team-attention
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
Azure/azure-sdk-for-python#47186 ·
メンテナーはふだん 1 日以内に返信
Azure/azure-sdk-for-python の issue をすべて見る
似ている issue
-
namespace operations
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
EclipseFdn/open-vsx.org#13573 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
collective/icalendar#1854 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
rancher/rancher-ai-agent#412 ·
メンテナーはふだん 6 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
TUDelftGeodesy/DePSI#134 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
HenriquesLab/rxiv-maker#335 ·