Instrument Vercel AI `experimental_evaluate`
Mantenedores costumam responder em até 1 dia
@andreiborza já está trabalhando nisso.
Desde 24/9/2026.
Avaliação
Esta issue ainda não foi avaliada.
Descrição
[email protected] added experimental_evaluate. In [email protected], it also publishes on the ai:telemetry tracing channel with type: 'experimental_evaluate' (vercel/ai#21162). Our v7 channel subscriber ignores unknown event types, so these calls make no span today.
Scope
- Change only the v7 channel subscriber (
packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts). The function does not exist inaiv4 to v6. - Make one span for each call. The channel does not publish the inner model call.
Target span
- Name:
evaluate <modelId>, opgen_ai.evaluate, originauto.vercelai.channel gen_ai.operation.name: evaluate,gen_ai.provider.name(raw provider ID, for exampletypesafe.evaluation),gen_ai.request.model,gen_ai.response.modelgen_ai.usage.input_tokens,output_tokens,total_tokensgen_ai.input.messages: [{ type: 'evaluation', state, questions }](only whenrecordInputsis on)gen_ai.output.messages: [{ type: 'evaluation', answers }](only whenrecordOutputsis on)- Keep the shared
vercel.ai.*attributes that other Vercel channel spans have.
Notes
@sentry/conventionshas nogen_ai.evaluateop yet.- Add a node-integration test. It needs
ai >= 7.0.111in the test app.
- Linguagem predominante
- TypeScript
- Estrelas
- 8.7k
- Forks
- 1.9k
- Merge médio
- 1d 15h
- PRs com merge (30d)
- 495
Preparar o ambiente
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de getsentry/sentry-javascript
-
Next.js: basePath is concatenated onto absolute router.push hrefs, corrupting navigation transaction namesTalvez já em andamento @Lms24 assumiu há 4 dias. AbertaBrowser Bug Next.js Traces
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
getsentry/sentry-javascript#24672 · 2 comentários · 1 responsável ·
Mantenedores costumam responder em até 1 dia
-
javascript
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
getsentry/sentry-javascript#24200 · 2 comentários ·
Mantenedores costumam responder em até 1 dia
-
javascript Task
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
getsentry/sentry-javascript#24134 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Cloudflare Workers javascript Tests
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
getsentry/sentry-javascript#24051 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Bug Bun javascript
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 92/100
getsentry/sentry-javascript#24045 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
Todas as issues de getsentry/sentry-javascript
Issues semelhantes
-
triage
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 90/100
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
mermaid-js/mermaid-live-editor#2053 ·
Mantenedores costumam responder em até 1 dia
-
factory
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
jessepollak/home#1455 ·
Mantenedores costumam responder em até 1 dia
-
community first-timers-only good first issue hacktoberfest help wanted low hanging fruit up-for-grabs
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 95/100
lingdojo/kana-dojo#31227 · 1 comentário · 5 reações ·
Mantenedores costumam responder em até 1 dia
-
mobile: device viewer shows dark status bar icons on its dark backdrop in light mode (Android)Aberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 92/100
appandflow/stim#1838 ·
Mantenedores costumam responder em até 1 dia