OpenAI Responses streams that end incomplete or failed are logged without token metrics
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 77/100
- Issue-Typ
- Bug
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- python
- Bereich
- observability
Rechercherichtung
Beginne in py/src/braintrust/integrations/openai/tracing.py bei ResponseWrapper._postprocess_streaming_results und verfolge, wie response.completed in beiden Zweigen Nutzungsdaten und Ausgabe liefert. Prüfe, wie die abschließenden Ereignisse response.incomplete und response.failed ihre endgültige Antwort bereitstellen, und reproduziere das Verhalten mit dem bereitgestellten Streaming-Aufruf. Fertig ist die Änderung, wenn diese abschließenden Ereignisse Token-Metriken und die endgültige Ausgabe protokollieren und eine aufgezeichnete Cassette das Verhalten abdeckt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
ResponseWrapper._postprocess_streaming_results (py/src/braintrust/integrations/openai/tracing.py) reads the final response only from response.completed. That event's response.usage populates the metrics, and its response.output becomes the logged output.
A Responses stream can also end on response.incomplete (for example when max_output_tokens is reached) or response.failed. Both events carry the same final response, with its usage and output. For those streams:
- no token metrics are logged: the intermediate events carry no usage, and the terminal response's usage is only read for
response.completed - the logged output is the partial reconstruction from the deltas, not the final
response.output
Repro: client.responses.create(model="gpt-4.1", input="Write a long essay", max_output_tokens=16, stream=True) with the wrapped client. The stream ends on response.incomplete and the span has no prompt_tokens/completion_tokens metrics.
Suggested fix: handle response.incomplete and response.failed the same way as response.completed in both branches. I'm happy to send a PR with a recorded cassette if that works for you.
This issue was written with help from an AI coding assistant (Claude Code); the code path above was checked on main.
- Vorherrschende Sprache
- Python
- Sterne
- 22
- Forks
- 27
- Ø Merge
- 14 Std. 49 Min.
- Gemergte PRs (30 T.)
- 126
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus braintrustdata/braintrust-sdk-python
-
Temporal: add `workflow.Info.original_execution_run_id` to workflow span metadataEvtl. vergeben @Ehsan-hash hat das vor 1 Tag übernommen. Offenfeature python
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
braintrustdata/braintrust-sdk-python#868 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
braintrustdata/braintrust-sdk-python#957 ·
Maintainer antworten meist innerhalb von 1 Tag
-
python
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
braintrustdata/braintrust-sdk-python#956 ·
Maintainer antworten meist innerhalb von 1 Tag
-
python
braintrustdata/braintrust-sdk-python#839 ·
Maintainer antworten meist innerhalb von 1 Tag
-
new-integration
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 68/100
braintrustdata/braintrust-sdk-python#808 ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in braintrustdata/braintrust-sdk-python
Ähnliche Issues
-
`lvm_compact` has no self-hosted twin, and `docs/158` §5 says every language-face component mustOffenbug sev-3 vm
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
sierra-research/tau2-bench#635 ·
Maintainer antworten meist innerhalb von 1 Tag
-
The add-ssm-model skill requires a Cython simulator; the contributing guide allows Python onesEvtl. vergeben @fmuia hat das heute übernommen. Offendocumentation skill
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 83/100
lnccbrown/ssm-simulators#406 ·
Maintainer antworten meist innerhalb von 4 Tagen
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 95/100
btclib-org/btclib-ecc#309 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
autowarefoundation/autoware_carla_scenario#281 ·
Maintainer antworten meist innerhalb von 1 Tag