Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

[bot] Google GenAI Live API not instrumented — zero visibility for real-time multimodal sessions

Abierto
  • ¿Algo no está bien?
#1,732 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
45/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
typescript
Área
ai, observability

Línea de trabajo

Empieza leyendo js/src/wrappers/google-genai.ts, js/src/auto-instrumentations/configs/google-genai.ts, js/src/instrumentation/plugins/google-genai-channels.ts y js/src/instrumentation/plugins/google-genai-plugin.ts para comparar la instrumentación existente de los modelos. Después, inspecciona js/src/vendor-sdk-types/google-genai.ts y el directorio e2e/scenarios/google-genai-instrumentation/. El trabajo estará terminado cuando las superficies de Live API tengan cobertura de instrumentación y escenarios de extremo a extremo para la actividad de sesión, las respuestas, los metadatos de uso y las llamadas a herramientas.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

never-stale

Summary

The @google/genai SDK provides a GA Live API (client.live.connect()) for low-latency, real-time bidirectional audio, video, and text interaction with Gemini models. This repo has zero instrumentation for any Live API surface — no channels, no plugin handlers, no wrapper proxies, and no auto-instrumentation configs. Users building real-time voice or multimodal AI applications with the Google GenAI Live API get no Braintrust spans.

What instrumentation is missing

No coverage in any layer:

  • Wrapper (js/src/wrappers/google-genai.ts): Only intercepts instance.models (line 74–76). No proxy for the live resource.
  • Auto-instrumentation config (js/src/auto-instrumentations/configs/google-genai.ts): Only defines configs for generateContentInternal and generateContentStreamInternal. No config for Live API methods.
  • Channels (js/src/instrumentation/plugins/google-genai-channels.ts): Only two channels defined (generateContent, generateContentStream). No Live API channels.
  • Plugin (js/src/instrumentation/plugins/google-genai-plugin.ts): No handler for Live API calls.
  • Vendor types (js/src/vendor-sdk-types/google-genai.ts): GoogleGenAIClient only declares models property. No live property.

A grep for live.connect, sendRealtimeInput, and sendClientContent across js/src/ returns zero matches.

Key upstream API surfaces with no Braintrust tracing:

SDK Method Description
client.live.connect({ model, config }) Creates a WebSocket session for real-time interaction. Config includes system instructions, tools, voice, response modalities, and speech config.
session.sendClientContent() Sends text content in the session.
session.sendRealtimeInput() Sends real-time audio/video data.
session.sendToolResponse() Sends tool call results back to the model.

The Live API session emits server events including model responses with usage metadata and tool call requests. These contain the same kind of data (content, token counts, tool calls) that is already captured for models.generateContent() in this repo.

Braintrust docs status

not_found — The Braintrust Gemini integration page at https://www.braintrust.dev/docs/integrations/ai-providers/gemini documents generateContent and generateContentStream as supported methods. The Live API is not mentioned.

Upstream reference

  • Google GenAI Live API docs: https://ai.google.dev/gemini-api/docs/live
  • SDK method: client.live.connect({ model, config }) — returns a WebSocket session
  • Capabilities: real-time audio/video/text interaction, tool calling, 70+ language support, interruption handling
  • Session config: systemInstruction, tools, responseModalities, speechConfig, realtimeInputConfig
  • This is a production API documented on the official Google AI for Developers site.
  • The @google/genai SDK (latest v1.48.0+) provides full TypeScript support for the Live API.

Precedent

  • This is the Google equivalent of the OpenAI Realtime API gap.
  • Both represent a new category of AI API (WebSocket-based real-time sessions) that the current instrumentation architecture does not cover.

Local files inspected

  • js/src/wrappers/google-genai.ts — only wraps models property
  • js/src/auto-instrumentations/configs/google-genai.ts — no Live configs
  • js/src/instrumentation/plugins/google-genai-channels.ts — no Live channels
  • js/src/instrumentation/plugins/google-genai-plugin.ts — no Live handlers
  • js/src/vendor-sdk-types/google-genai.ts — no live property on client type
  • e2e/scenarios/google-genai-instrumentation/ — no Live test scenarios
Lenguaje dominante
TypeScript
Estrellas
29
Forks
16
Merge medio
1 d 19 h
PR fusionados (30 d)
69

Preparar el entorno

  • Incluye un Dockerfile o un archivo de Docker Compose
  • Sin plantilla de pull request
  • Sin guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de braintrustdata/braintrust-sdk-javascript

Todos los issues de braintrustdata/braintrust-sdk-javascript

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.