[BOT ISSUE] OpenAI embeddings spans missing output capture and incomplete input extraction
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 68/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Tranquilla
- Stack tecnologico
- java
- Ambito
- api, developer-experience
Direzione di ricerca
Inizia in braintrust-sdk/src/main/java/dev/braintrust/instrumentation/InstrumentationSemConv.java esaminando tagOpenAIRequest(), tagOpenAIResponse() e il mapping dello span Embeddings intorno alla riga 244. Controlla BraintrustOpenAITest.java e le forme della OpenAI embeddings API; il lavoro è completato quando gli input costituiti da una singola stringa e le risposte data[].embedding popolano i dati dello span senza introdurre regressioni nella gestione di Chat Completions o Responses.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Summary
The OpenAI instrumentation recognizes embeddings calls (span is named "Embeddings") but the span data is largely empty because the response and request parsing logic in InstrumentationSemConv only handles Chat Completions and Responses API field shapes.
Specifically:
- No
output_json: the response parser checks forchoices(Chat Completions) oroutput(Responses API), but embeddings responses havedata[].embedding— neither branch matches - Incomplete
input_json: the request parser checks formessagesorinput(as array), but embeddingsinputcan be a single string, which fails theisArray()check on line 102 - Partial metrics:
prompt_tokensandtotal_tokensare captured correctly fromusage, butcompletion_tokensis absent (embeddings don't produce completion tokens) — this is fine but worth noting
What is missing
In InstrumentationSemConv.tagOpenAIRequest() (lines 78–108):
if (requestJson.has("messages")) {
span.setAttribute("braintrust.input_json", toJson(requestJson.get("messages")));
} else if (requestJson.has("input") && requestJson.get("input").isArray()) {
span.setAttribute("braintrust.input_json", toJson(requestJson.get("input")));
}
- Embeddings requests use
inputwhich can be a string ("Hello world"), an array of strings, or an array of token arrays. Single-string inputs fail theisArray()guard and are silently dropped.
In InstrumentationSemConv.tagOpenAIResponse() (lines 111–156):
if (responseJson.has("choices")) {
span.setAttribute("braintrust.output_json", toJson(responseJson.get("choices")));
} else if (responseJson.has("output")) {
span.setAttribute("braintrust.output_json", toJson(responseJson.get("output")));
}
- Embeddings responses have
data(array of embedding objects) andmodel— neitherchoicesnoroutput. Nooutput_jsonis set.
Additionally, the model field from the embeddings request (e.g., text-embedding-3-small) is correctly extracted into metadata, and usage metrics partially work — so this is a detail gap rather than total failure.
Braintrust docs status
- The Braintrust OpenAI integration docs at
braintrust.dev/docs/integrations/ai-providers/openaido not mention embeddings: not_found - No embeddings instrumentation is documented for any provider
Upstream sources
- OpenAI Embeddings API: https://platform.openai.com/docs/api-reference/embeddings/create — documents
input(string or array), responsedata[].embedding, andusagewithprompt_tokens/total_tokens - OpenAI Java SDK:
client.embeddings().create()is a stable, documented API surface
Local files inspected
braintrust-sdk/src/main/java/dev/braintrust/instrumentation/InstrumentationSemConv.java— lines 78–108 (tagOpenAIRequest:inputstring case not handled), lines 111–156 (tagOpenAIResponse: nodatafield extraction), line 244 (span name correctly maps to"Embeddings")braintrust-sdk/instrumentation/openai_2_8_0/src/main/java/dev/braintrust/instrumentation/openai/v2_8_0/TracingHttpClient.java— HTTP-level wrapping captures the call, delegates toInstrumentationSemConvbraintrust-sdk/instrumentation/openai_2_8_0/src/test/java/dev/braintrust/instrumentation/openai/v2_8_0/BraintrustOpenAITest.java— no embeddings test exists
- Lingua principale
- Java
- Stelle
- 21
- Fork
- 5
- Merge medio
- 2g 7h
- PR unite (30g)
- 8
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di braintrustdata/braintrust-sdk-java
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
Tutte le issue di braintrustdata/braintrust-sdk-java
Issue simili
-
bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
apache/cloudstack#14222 ·
-
[BUG]茶杯方块在取茶时会引发崩溃 Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
-
Cannot differ own consent and managed consents in My Consents view and detailed consent view. Aperta1.0.0-alpha2 Type/Improvement
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
wso2/dpdp-accelerator#272 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
infinispan/infinispan#18150 ·
-
area/frontend
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100