Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

[bot] Google GenAI Live API not instrumented — zero visibility for real-time multimodal sessions

Ouverte
  • Quelque chose ne va pas ?
#1,732 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
45/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Calme
Stack technique
typescript
Domaine
ai, observability

Piste de recherche

Commencez par lire js/src/wrappers/google-genai.ts, js/src/auto-instrumentations/configs/google-genai.ts, js/src/instrumentation/plugins/google-genai-channels.ts et js/src/instrumentation/plugins/google-genai-plugin.ts afin de comparer l’instrumentation existante des modèles. Examinez ensuite js/src/vendor-sdk-types/google-genai.ts et le répertoire e2e/scenarios/google-genai-instrumentation/. Le travail est considéré comme terminé lorsque les surfaces de Live API disposent d’une couverture d’instrumentation et de scénarios de bout en bout pour l’activité de session, les réponses, les métadonnées d’utilisation et les appels d’outils.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

never-stale

Summary

The @google/genai SDK provides a GA Live API (client.live.connect()) for low-latency, real-time bidirectional audio, video, and text interaction with Gemini models. This repo has zero instrumentation for any Live API surface — no channels, no plugin handlers, no wrapper proxies, and no auto-instrumentation configs. Users building real-time voice or multimodal AI applications with the Google GenAI Live API get no Braintrust spans.

What instrumentation is missing

No coverage in any layer:

  • Wrapper (js/src/wrappers/google-genai.ts): Only intercepts instance.models (line 74–76). No proxy for the live resource.
  • Auto-instrumentation config (js/src/auto-instrumentations/configs/google-genai.ts): Only defines configs for generateContentInternal and generateContentStreamInternal. No config for Live API methods.
  • Channels (js/src/instrumentation/plugins/google-genai-channels.ts): Only two channels defined (generateContent, generateContentStream). No Live API channels.
  • Plugin (js/src/instrumentation/plugins/google-genai-plugin.ts): No handler for Live API calls.
  • Vendor types (js/src/vendor-sdk-types/google-genai.ts): GoogleGenAIClient only declares models property. No live property.

A grep for live.connect, sendRealtimeInput, and sendClientContent across js/src/ returns zero matches.

Key upstream API surfaces with no Braintrust tracing:

SDK Method Description
client.live.connect({ model, config }) Creates a WebSocket session for real-time interaction. Config includes system instructions, tools, voice, response modalities, and speech config.
session.sendClientContent() Sends text content in the session.
session.sendRealtimeInput() Sends real-time audio/video data.
session.sendToolResponse() Sends tool call results back to the model.

The Live API session emits server events including model responses with usage metadata and tool call requests. These contain the same kind of data (content, token counts, tool calls) that is already captured for models.generateContent() in this repo.

Braintrust docs status

not_found — The Braintrust Gemini integration page at https://www.braintrust.dev/docs/integrations/ai-providers/gemini documents generateContent and generateContentStream as supported methods. The Live API is not mentioned.

Upstream reference

  • Google GenAI Live API docs: https://ai.google.dev/gemini-api/docs/live
  • SDK method: client.live.connect({ model, config }) — returns a WebSocket session
  • Capabilities: real-time audio/video/text interaction, tool calling, 70+ language support, interruption handling
  • Session config: systemInstruction, tools, responseModalities, speechConfig, realtimeInputConfig
  • This is a production API documented on the official Google AI for Developers site.
  • The @google/genai SDK (latest v1.48.0+) provides full TypeScript support for the Live API.

Precedent

  • This is the Google equivalent of the OpenAI Realtime API gap.
  • Both represent a new category of AI API (WebSocket-based real-time sessions) that the current instrumentation architecture does not cover.

Local files inspected

  • js/src/wrappers/google-genai.ts — only wraps models property
  • js/src/auto-instrumentations/configs/google-genai.ts — no Live configs
  • js/src/instrumentation/plugins/google-genai-channels.ts — no Live channels
  • js/src/instrumentation/plugins/google-genai-plugin.ts — no Live handlers
  • js/src/vendor-sdk-types/google-genai.ts — no live property on client type
  • e2e/scenarios/google-genai-instrumentation/ — no Live test scenarios
Langage dominant
TypeScript
Étoiles
29
Forks
16
Merge moyen
1 j 22 h
PR mergées (30 j)
72

Préparer son environnement

  • Fournit un Dockerfile ou un fichier Docker Compose
  • Aucun modèle de pull request
  • Aucun guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de braintrustdata/braintrust-sdk-javascript

Toutes les issues de braintrustdata/braintrust-sdk-javascript

Issues similaires

Plus d'issues TypeScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.