[BOT ISSUE] OpenAI embeddings spans missing output capture and incomplete input extraction

Aperta Adatta ai principianti
#66 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
68/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Tranquilla
Stack tecnologico
java

Direzione di ricerca

Inizia in braintrust-sdk/src/main/java/dev/braintrust/instrumentation/InstrumentationSemConv.java esaminando tagOpenAIRequest(), tagOpenAIResponse() e il mapping dello span Embeddings intorno alla riga 244. Controlla BraintrustOpenAITest.java e le forme della OpenAI embeddings API; il lavoro è completato quando gli input costituiti da una singola stringa e le risposte data[].embedding popolano i dati dello span senza introdurre regressioni nella gestione di Chat Completions o Responses.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Summary

The OpenAI instrumentation recognizes embeddings calls (span is named "Embeddings") but the span data is largely empty because the response and request parsing logic in InstrumentationSemConv only handles Chat Completions and Responses API field shapes.

Specifically:

  • No output_json: the response parser checks for choices (Chat Completions) or output (Responses API), but embeddings responses have data[].embedding — neither branch matches
  • Incomplete input_json: the request parser checks for messages or input (as array), but embeddings input can be a single string, which fails the isArray() check on line 102
  • Partial metrics: prompt_tokens and total_tokens are captured correctly from usage, but completion_tokens is absent (embeddings don't produce completion tokens) — this is fine but worth noting

What is missing

In InstrumentationSemConv.tagOpenAIRequest() (lines 78–108):

if (requestJson.has("messages")) {
    span.setAttribute("braintrust.input_json", toJson(requestJson.get("messages")));
} else if (requestJson.has("input") && requestJson.get("input").isArray()) {
    span.setAttribute("braintrust.input_json", toJson(requestJson.get("input")));
}
  • Embeddings requests use input which can be a string ("Hello world"), an array of strings, or an array of token arrays. Single-string inputs fail the isArray() guard and are silently dropped.

In InstrumentationSemConv.tagOpenAIResponse() (lines 111–156):

if (responseJson.has("choices")) {
    span.setAttribute("braintrust.output_json", toJson(responseJson.get("choices")));
} else if (responseJson.has("output")) {
    span.setAttribute("braintrust.output_json", toJson(responseJson.get("output")));
}
  • Embeddings responses have data (array of embedding objects) and model — neither choices nor output. No output_json is set.

Additionally, the model field from the embeddings request (e.g., text-embedding-3-small) is correctly extracted into metadata, and usage metrics partially work — so this is a detail gap rather than total failure.

Braintrust docs status

  • The Braintrust OpenAI integration docs at braintrust.dev/docs/integrations/ai-providers/openai do not mention embeddings: not_found
  • No embeddings instrumentation is documented for any provider

Upstream sources

Local files inspected

  • braintrust-sdk/src/main/java/dev/braintrust/instrumentation/InstrumentationSemConv.java — lines 78–108 (tagOpenAIRequest: input string case not handled), lines 111–156 (tagOpenAIResponse: no data field extraction), line 244 (span name correctly maps to "Embeddings")
  • braintrust-sdk/instrumentation/openai_2_8_0/src/main/java/dev/braintrust/instrumentation/openai/v2_8_0/TracingHttpClient.java — HTTP-level wrapping captures the call, delegates to InstrumentationSemConv
  • braintrust-sdk/instrumentation/openai_2_8_0/src/test/java/dev/braintrust/instrumentation/openai/v2_8_0/BraintrustOpenAITest.java — no embeddings test exists
Lingua principale
Java
Stelle
21
Fork
5
Merge medio
2g 7h
PR unite (30g)
8

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di braintrustdata/braintrust-sdk-java

Tutte le issue di braintrustdata/braintrust-sdk-java

Issue simili

Altre issue su Java

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.