Instrument Vercel AI `experimental_evaluate`
Maintainer thường phản hồi trong vòng 1 ngày
@andreiborza đang làm issue này rồi.
Từ ngày 24/9/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
[email protected] added experimental_evaluate. In [email protected], it also publishes on the ai:telemetry tracing channel with type: 'experimental_evaluate' (vercel/ai#21162). Our v7 channel subscriber ignores unknown event types, so these calls make no span today.
Scope
- Change only the v7 channel subscriber (
packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts). The function does not exist inaiv4 to v6. - Make one span for each call. The channel does not publish the inner model call.
Target span
- Name:
evaluate <modelId>, opgen_ai.evaluate, originauto.vercelai.channel gen_ai.operation.name: evaluate,gen_ai.provider.name(raw provider ID, for exampletypesafe.evaluation),gen_ai.request.model,gen_ai.response.modelgen_ai.usage.input_tokens,output_tokens,total_tokensgen_ai.input.messages: [{ type: 'evaluation', state, questions }](only whenrecordInputsis on)gen_ai.output.messages: [{ type: 'evaluation', answers }](only whenrecordOutputsis on)- Keep the shared
vercel.ai.*attributes that other Vercel channel spans have.
Notes
@sentry/conventionshas nogen_ai.evaluateop yet.- Add a node-integration test. It needs
ai >= 7.0.111in the test app.
- Ngôn ngữ chính
- TypeScript
- Star
- 8.7k
- Fork
- 1.9k
- Merge trung bình
- 1 ngày 15 giờ
- Pull request đã merge (30 ngày)
- 523
Chuẩn bị môi trường
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của getsentry/sentry-javascript
-
Next.js: basePath is concatenated onto absolute router.push hrefs, corrupting navigation transaction namesCó thể đã có người làm @Lms24 đã nhận 2 ngày trước. Đang mởBrowser Bug Next.js Traces
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
getsentry/sentry-javascript#24672 · 2 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
javascript
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
getsentry/sentry-javascript#24200 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
javascript Task
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
getsentry/sentry-javascript#24134 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Cloudflare Workers javascript Tests
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
getsentry/sentry-javascript#24051 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Bug Bun javascript
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 92/100
getsentry/sentry-javascript#24045 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của getsentry/sentry-javascript
Issue tương tự
-
Resources: New palettes of MacaoĐang mởresources
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
railmapgen/rmg-palette#2445 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
danielmiessler/LifeOS#2242 ·
Maintainer thường phản hồi trong vòng 5 ngày
-
good first issue hacktoberfest help wanted translation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
callstackincubator/appduct#129 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100