Hacktoberfest 2026: die Issues, die Maintainer für den Oktober markiert haben – offen und einsteigerfreundlich. Hacktoberfest-Issues durchsuchen

Instrument Vercel AI `experimental_evaluate`

Geschlossen
  • Stimmt etwas nicht?
#24,692 1 Kommentar 0 Reaktionen 1 zugewiesene Person Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

@andreiborza arbeitet bereits daran.

Seit 24.9.2026.

Bewertung

Dieses Issue wurde noch nicht bewertet.

Beschreibung

[email protected] added experimental_evaluate. In [email protected], it also publishes on the ai:telemetry tracing channel with type: 'experimental_evaluate' (vercel/ai#21162). Our v7 channel subscriber ignores unknown event types, so these calls make no span today.

Scope

  • Change only the v7 channel subscriber (packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts). The function does not exist in ai v4 to v6.
  • Make one span for each call. The channel does not publish the inner model call.

Target span

  • Name: evaluate <modelId>, op gen_ai.evaluate, origin auto.vercelai.channel
  • gen_ai.operation.name: evaluate, gen_ai.provider.name (raw provider ID, for example typesafe.evaluation), gen_ai.request.model, gen_ai.response.model
  • gen_ai.usage.input_tokens, output_tokens, total_tokens
  • gen_ai.input.messages: [{ type: 'evaluation', state, questions }] (only when recordInputs is on)
  • gen_ai.output.messages: [{ type: 'evaluation', answers }] (only when recordOutputs is on)
  • Keep the shared vercel.ai.* attributes that other Vercel channel spans have.

Notes

  • @sentry/conventions has no gen_ai.evaluate op yet.
  • Add a node-integration test. It needs ai >= 7.0.111 in the test app.
Vorherrschende Sprache
TypeScript
Sterne
8.7k
Forks
1.9k
Ø Merge
1 T. 15 Std.
Gemergte PRs (30 T.)
523

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus getsentry/sentry-javascript

Alle Issues in getsentry/sentry-javascript

Ähnliche Issues

Weitere Issues zu TypeScript

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.