[BOT ISSUE] OpenAI embeddings spans missing output capture and incomplete input extraction
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 68/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Tranquilo
- Stack tecnológico
- java
- Área
- api, developer-experience
Línea de trabajo
Empieza en braintrust-sdk/src/main/java/dev/braintrust/instrumentation/InstrumentationSemConv.java revisando tagOpenAIRequest(), tagOpenAIResponse() y el mapeo del span de Embeddings cerca de la línea 244. Comprueba BraintrustOpenAITest.java y las formas de la OpenAI embeddings API; se considera terminado cuando las entradas de una sola cadena y las respuestas data[].embedding rellenan los datos del span sin introducir regresiones en el manejo de Chat Completions o Responses.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Summary
The OpenAI instrumentation recognizes embeddings calls (span is named "Embeddings") but the span data is largely empty because the response and request parsing logic in InstrumentationSemConv only handles Chat Completions and Responses API field shapes.
Specifically:
- No
output_json: the response parser checks forchoices(Chat Completions) oroutput(Responses API), but embeddings responses havedata[].embedding— neither branch matches - Incomplete
input_json: the request parser checks formessagesorinput(as array), but embeddingsinputcan be a single string, which fails theisArray()check on line 102 - Partial metrics:
prompt_tokensandtotal_tokensare captured correctly fromusage, butcompletion_tokensis absent (embeddings don't produce completion tokens) — this is fine but worth noting
What is missing
In InstrumentationSemConv.tagOpenAIRequest() (lines 78–108):
if (requestJson.has("messages")) {
span.setAttribute("braintrust.input_json", toJson(requestJson.get("messages")));
} else if (requestJson.has("input") && requestJson.get("input").isArray()) {
span.setAttribute("braintrust.input_json", toJson(requestJson.get("input")));
}
- Embeddings requests use
inputwhich can be a string ("Hello world"), an array of strings, or an array of token arrays. Single-string inputs fail theisArray()guard and are silently dropped.
In InstrumentationSemConv.tagOpenAIResponse() (lines 111–156):
if (responseJson.has("choices")) {
span.setAttribute("braintrust.output_json", toJson(responseJson.get("choices")));
} else if (responseJson.has("output")) {
span.setAttribute("braintrust.output_json", toJson(responseJson.get("output")));
}
- Embeddings responses have
data(array of embedding objects) andmodel— neitherchoicesnoroutput. Nooutput_jsonis set.
Additionally, the model field from the embeddings request (e.g., text-embedding-3-small) is correctly extracted into metadata, and usage metrics partially work — so this is a detail gap rather than total failure.
Braintrust docs status
- The Braintrust OpenAI integration docs at
braintrust.dev/docs/integrations/ai-providers/openaido not mention embeddings: not_found - No embeddings instrumentation is documented for any provider
Upstream sources
- OpenAI Embeddings API: https://platform.openai.com/docs/api-reference/embeddings/create — documents
input(string or array), responsedata[].embedding, andusagewithprompt_tokens/total_tokens - OpenAI Java SDK:
client.embeddings().create()is a stable, documented API surface
Local files inspected
braintrust-sdk/src/main/java/dev/braintrust/instrumentation/InstrumentationSemConv.java— lines 78–108 (tagOpenAIRequest:inputstring case not handled), lines 111–156 (tagOpenAIResponse: nodatafield extraction), line 244 (span name correctly maps to"Embeddings")braintrust-sdk/instrumentation/openai_2_8_0/src/main/java/dev/braintrust/instrumentation/openai/v2_8_0/TracingHttpClient.java— HTTP-level wrapping captures the call, delegates toInstrumentationSemConvbraintrust-sdk/instrumentation/openai_2_8_0/src/test/java/dev/braintrust/instrumentation/openai/v2_8_0/BraintrustOpenAITest.java— no embeddings test exists
- Lenguaje dominante
- Java
- Estrellas
- 21
- Forks
- 5
- Merge medio
- 2 d 7 h
- PR fusionados (30 d)
- 8
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de braintrustdata/braintrust-sdk-java
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
Todos los issues de braintrustdata/braintrust-sdk-java
Issues similares
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
apache/cloudstack#14222 ·
-
[BUG]茶杯方块在取茶时会引发崩溃 Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
-
Cannot differ own consent and managed consents in My Consents view and detailed consent view. Abierto1.0.0-alpha2 Type/Improvement
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
wso2/dpdp-accelerator#272 ·
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
apache/rocketmq-dashboard#4860 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
infinispan/infinispan#18150 ·