Instrument Vercel AI `experimental_evaluate`
Les mainteneurs répondent en général sous 1 jour
@andreiborza y travaille déjà.
Depuis le 24/9/2026.
Évaluation
Cette issue n'a pas encore été évaluée.
Description
[email protected] added experimental_evaluate. In [email protected], it also publishes on the ai:telemetry tracing channel with type: 'experimental_evaluate' (vercel/ai#21162). Our v7 channel subscriber ignores unknown event types, so these calls make no span today.
Scope
- Change only the v7 channel subscriber (
packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts). The function does not exist inaiv4 to v6. - Make one span for each call. The channel does not publish the inner model call.
Target span
- Name:
evaluate <modelId>, opgen_ai.evaluate, originauto.vercelai.channel gen_ai.operation.name: evaluate,gen_ai.provider.name(raw provider ID, for exampletypesafe.evaluation),gen_ai.request.model,gen_ai.response.modelgen_ai.usage.input_tokens,output_tokens,total_tokensgen_ai.input.messages: [{ type: 'evaluation', state, questions }](only whenrecordInputsis on)gen_ai.output.messages: [{ type: 'evaluation', answers }](only whenrecordOutputsis on)- Keep the shared
vercel.ai.*attributes that other Vercel channel spans have.
Notes
@sentry/conventionshas nogen_ai.evaluateop yet.- Add a node-integration test. It needs
ai >= 7.0.111in the test app.
- Langage dominant
- TypeScript
- Étoiles
- 8.7k
- Forks
- 1.9k
- Merge moyen
- 1 j 15 h
- PR mergées (30 j)
- 495
Préparer son environnement
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de getsentry/sentry-javascript
-
Next.js: basePath is concatenated onto absolute router.push hrefs, corrupting navigation transaction namesPeut-être pris @Lms24 l’a pris il y a 3 jours. OuverteBrowser Bug Next.js Traces
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
getsentry/sentry-javascript#24672 · 2 commentaires · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
javascript
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
getsentry/sentry-javascript#24200 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
javascript Task
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
getsentry/sentry-javascript#24134 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Cloudflare Workers javascript Tests
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
getsentry/sentry-javascript#24051 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Bug Bun javascript
Difficulté 2/5 1-3 heures Accessibilité débutants 92/100
getsentry/sentry-javascript#24045 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de getsentry/sentry-javascript
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
rohitg00/agentmemory#1428 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
boxlite-ai/boxlite#1729 ·
Les mainteneurs répondent en général sous 1 jour
-
Detect Deno tasks from deno.jsonOuvertedetectors enhancement good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
SM260845/readme-gen#1 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
angular/angularfire#3774 ·
Les mainteneurs répondent en général sous 2 jours