Instrument Vercel AI `experimental_evaluate`
維護者通常 1 天內回覆
@andreiborza 已經在處理了。
開始於 2026年9月24日。
評估
這個 Issue 還沒有評估資料。
描述
[email protected] added experimental_evaluate. In [email protected], it also publishes on the ai:telemetry tracing channel with type: 'experimental_evaluate' (vercel/ai#21162). Our v7 channel subscriber ignores unknown event types, so these calls make no span today.
Scope
- Change only the v7 channel subscriber (
packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts). The function does not exist inaiv4 to v6. - Make one span for each call. The channel does not publish the inner model call.
Target span
- Name:
evaluate <modelId>, opgen_ai.evaluate, originauto.vercelai.channel gen_ai.operation.name: evaluate,gen_ai.provider.name(raw provider ID, for exampletypesafe.evaluation),gen_ai.request.model,gen_ai.response.modelgen_ai.usage.input_tokens,output_tokens,total_tokensgen_ai.input.messages: [{ type: 'evaluation', state, questions }](only whenrecordInputsis on)gen_ai.output.messages: [{ type: 'evaluation', answers }](only whenrecordOutputsis on)- Keep the shared
vercel.ai.*attributes that other Vercel channel spans have.
Notes
@sentry/conventionshas nogen_ai.evaluateop yet.- Add a node-integration test. It needs
ai >= 7.0.111in the test app.
- 主要語言
- TypeScript
- 星號
- 8.7k
- 分支
- 1.9k
- 平均合併
- 1 天 17 小時
- 30 天內合併 PR
- 523
環境準備
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
getsentry/sentry-javascript 的其他 Issue
-
javascript
難度 2/5 1-3 小時 新手友好度 75/100
getsentry/sentry-javascript#24200 · 2 則留言 ·
維護者通常 1 天內回覆
-
javascript Task
難度 2/5 1-3 小時 新手友好度 82/100
getsentry/sentry-javascript#24134 · 1 則留言 ·
維護者通常 1 天內回覆
-
Cloudflare Workers javascript Tests
難度 2/5 1-3 小時 新手友好度 78/100
getsentry/sentry-javascript#24051 · 1 則留言 ·
維護者通常 1 天內回覆
-
Bug Bun javascript
難度 2/5 1-3 小時 新手友好度 92/100
getsentry/sentry-javascript#24045 · 1 則留言 ·
維護者通常 1 天內回覆
-
javascript
難度 2/5 1-3 小時 新手友好度 75/100
getsentry/sentry-javascript#24043 · 1 則留言 ·
維護者通常 1 天內回覆
查看 getsentry/sentry-javascript 的全部 Issue
相似的 Issue
-
needs:triage
難度 2/5 1-3 小時 新手友好度 84/100
維護者通常 1 天內回覆
-
ai-discovered
難度 2/5 1-3 小時 新手友好度 83/100
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 88/100
jessepollak/home#1627 ·
維護者通常 1 天內回覆
-
agent-canvas bug llm priority:low ready-for-dev
難度 2/5 1-3 小時 新手友好度 82/100
OpenHands/OpenHands#17806 · 3 則留言 ·
維護者通常 1 天內回覆
-
bug
難度 2/5 1-3 小時 新手友好度 76/100
radius-project/ai-extensions#923 ·
維護者通常 1 天內回覆