[BOT ISSUE] OpenAI Responses API instrumentation uses wrong token-limit parameter name and is missing several metadata fields
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 48/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Tranquilla
- Stack tecnologico
- ruby
- Ambito
- observability
Direzione di ricerca
Inizia da METADATA_FIELDS in lib/braintrust/contrib/openai/instrumentation/responses.rb e lib/braintrust/contrib/ruby_openai/instrumentation/responses.rb, quindi confrontali con lib/braintrust/contrib/openai/instrumentation/chat.rb e con la definizione upstream di ResponseCreateParams. Conferma che i metadati dell’instrumentation di Responses corrispondano ai nomi dei parametri documentati e includano tutti i campi elencati nell’issue.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Summary
The Responses API instrumentation in both the openai and ruby-openai integrations has an incorrect parameter name (max_tokens instead of max_output_tokens) and is missing several parameters that are part of the stable upstream API. Users who set max_output_tokens, service_tier, include, text, or background on their Responses API calls get no visibility into these values in their Braintrust span metadata.
What is missing
The METADATA_FIELDS constant in both Responses API instrumentations currently includes:
METADATA_FIELDS = %i[
model instructions modalities tools parallel_tool_calls
tool_choice temperature max_tokens top_p frequency_penalty
presence_penalty seed user metadata store response_format
reasoning previous_response_id truncation
].freeze
Wrong parameter name
| Current field | Correct field | Why it matters |
|---|---|---|
max_tokens |
max_output_tokens |
The Responses API uses max_output_tokens, not max_tokens. The SDK captures a field that doesn't exist in the Responses API, and misses the one users actually pass. |
Missing parameters
| Parameter | Why it matters |
|---|---|
service_tier |
Controls processing priority (auto, default, flex, priority). Already captured in the Chat Completions instrumentation — this is an inconsistency within the SDK. |
include |
Array controlling what additional data is returned (e.g., web_search_call.action.sources, code_interpreter_call.outputs). Important for understanding what data the user requested. |
text |
Text response format configuration for structured outputs. The newer alternative to response_format for the Responses API. |
background |
Boolean for async/background response execution. Changes how the response is processed — users need to see this in traces to understand response behavior. |
Braintrust docs status
not_found — The Braintrust docs at https://www.braintrust.dev/docs/instrument/wrap-providers do not mention max_output_tokens, service_tier, include, text, or background for the Responses API.
Upstream sources
- Official OpenAI Ruby SDK: https://github.com/openai/openai-ruby —
OpenAI::Models::Responses::ResponseCreateParamsdefinesmax_output_tokens(notmax_tokens),service_tier,include,text,background, and other parameters inlib/openai/models/responses/response_create_params.rb - OpenAI Responses API docs: https://platform.openai.com/docs/api-reference/responses/create — documents all parameters
Local repo files inspected
lib/braintrust/contrib/openai/instrumentation/responses.rb(lines 26–31) —METADATA_FIELDSusesmax_tokens(wrong) and is missingmax_output_tokens,service_tier,include,text,backgroundlib/braintrust/contrib/ruby_openai/instrumentation/responses.rb(lines 32–37) — identicalMETADATA_FIELDS, same issueslib/braintrust/contrib/openai/instrumentation/chat.rb(lines 27–32) — Chat Completions already capturesservice_tier, showing this is an oversight in the Responses instrumentation
- Lingua principale
- Ruby
- Stelle
- 9
- Fork
- 10
- Merge medio
- 3g 43m
- PR unite (30g)
- 9
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di braintrustdata/braintrust-sdk-ruby
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
[BOT ISSUE] OpenAI Chat Completions missing reasoning model and web search metadata parametersAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
ruby
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
-
ruby
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
Tutte le issue di braintrustdata/braintrust-sdk-ruby
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Homebrew/homebrew-cask#293134 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
notch8/iiif_print#430 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
I maintainer di solito rispondono entro 1 giorno
-
ActionText::Content#to_markdown: <br> in a table cell and empty <tr> produce malformed Markdown tablesForse già presa @azmi2409 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno