🐛 Bug Report: OpenAI Responses: with_raw_response.create() raises when the body can't be parsed, though the uninstrumented call returns

Đang mở Phù hợp với người mới
#4,717 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
76/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python

Hướng nghiên cứu

Bắt đầu tại v1/responses_wrappers.py, ở các lệnh gọi parse_response đồng bộ và bất đồng bộ quanh dòng 674 và 867, sau đó kiểm tra fallback hiện có của wrapper khi việc tạo TracedData thất bại. Bổ sung kiểm thử bằng mock HTTP transport của issue cho cả hai luồng; hoàn thành khi JSON sai định dạng trả về response thô mà không phát sinh ngoại lệ hoặc ghi nhận metrics.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug python
Which component is this bug for?

OpenAI Instrumentation

📜 Description

client.responses.with_raw_response.create() is meant to return the raw HTTP response without parsing the body. The user decides whether to call .parse().

The Responses wrapper in v1/responses_wrappers.py calls parse_response(response) itself, so it can read the response ID, model and usage. That call sits outside the wrapper's try/except (around line 674 for sync and line 867 for async). If the body can't be parsed, the exception from our .parse() goes up to the user. The same call returns normally when the instrumentation is off.

The async path (async_parse_response) has the same problem.

👟 Reproduction steps
import httpx, openai
from opentelemetry.instrumentation.openai import OpenAIInstrumentor

def bad(req):
    return httpx.Response(200, headers={"content-type": "application/json"}, content=b"{not json")

def call():
    c = openai.OpenAI(api_key="k", max_retries=0,
                      http_client=httpx.Client(transport=httpx.MockTransport(bad)))
    return c.responses.with_raw_response.create(model="m", input="hi")

print(type(call()).__name__)   # LegacyAPIResponse
OpenAIInstrumentor().instrument()
call()                         # raises JSONDecodeError
👍 Expected behavior

The instrumentation never changes what the call returns or raises. If it can't parse the raw response, it should return the response untraced and record no metrics. The wrapper already does this when building TracedData fails (except Exception: return response).

👎 Actual Behavior with Screenshots
uninstrumented: returned LegacyAPIResponse status 200
instrumented:   raised JSONDecodeError
📃 Provide any additional context for the Bug.
  • This has been there since the first Responses instrumentation (#3052).
  • CodeRabbit raised it on #4713. It suggested recording duration and error.type and then re-raising. That would still break the user's call, and it would count a successful API call as a failed operation. So the fix is to guard the parse, not to record it as an error.
  • Suggested fix: wrap parse_response / async_parse_response in try/except Exception: return response in both the sync and async wrappers. Add a test using the mock transport above that checks the instrumented call returns the same object as the uninstrumented one.
  • Related: #4504, #4551, #4476 (other with_raw_response issues in the Responses wrapper).
👀 Have you spent some time to check if this bug has been raised before?
  • I checked and didn't find similar issue
Ngôn ngữ chính
Python
Star
7.5k
Fork
1.2k
Merge trung bình
2 ngày 6 giờ
Pull request đã merge (30 ngày)
2

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của traceloop/openllmetry

Tất cả issue của traceloop/openllmetry

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.