Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[bot] Vercel AI SDK: `experimental_evaluate` instrumentation is stale after upstream rename to `experimental_decide`

Đã đóng
  • Có gì không ổn?
#2,619 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@lforst đang làm issue này rồi.

Từ ngày 14/10/2026.

  • #2621 của @lforst — đã merge

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
javascript, typescript
Lĩnh vực
ai, observability

Hướng nghiên cứu

Start with the sole Vercel AI SDK entry in js/src/auto-instrumentations/configs/ai-sdk.ts (lines 18-31), which targets functionQuery experimental_evaluate for the ai >=7.0.103 <8.0.0 range, and read the comment above it. Check how the existing config entries and tests in that directory are structured, then see whether a decision-feature entry for experimental_decide fits the same pattern. Done when a call through experimental_decide yields a Braintrust span and the config is covered by a test.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Summary

This repo's Vercel AI SDK instrumentation targets the function export experimental_evaluate to trace the AI SDK's structured-decision feature, but upstream renamed that export to experimental_decide in [email protected] ("feat: rename evaluate to decide"). The existing instrumentation config's version range (>=7.0.103 <8.0.0) still nominally spans the current ai release line (latest: 7.0.140), but it is matching against an export name (experimental_evaluate) that no longer corresponds to the feature's current public entrypoint upstream. This is an existing-instrumentation-goes-stale-after-upstream-rename gap, not a never-instrumented surface: calls made through the current public function name produce no Braintrust span.

What instrumentation is missing

  • experimental_decide(...) — the current public export (post-rename) for the AI SDK's structured decision/evaluation feature. Upstream continued developing this feature under the new name after the rename, including: image input support for "OpenAI Decisions and language model adapters" ([email protected]), ordered text/file/JSON parts in decision state ([email protected]), and serialization of decision file bytes as base64 in OpenTelemetry attributes — i.e. upstream already emits its own OTel attributes for this feature that this repo's tracing does not pick up.

Current (stale) coverage:

  • js/src/auto-instrumentations/configs/ai-sdk.ts:18-31 — the sole config entry for this feature targets functionQuery: { functionName: "experimental_evaluate", isExportAlias: true } against ai >=7.0.103 <8.0.0, dist/index.js. No entry anywhere in this file (or js/src/instrumentation/plugins/ai-sdk-*) references experimental_decide.
  • A repo-wide case-insensitive search for experimental_decide / generateDecision under js/src/ returns no matches.

Braintrust docs status

not_found — https://www.braintrust.dev/docs/integrations/ai-providers/vercel-ai-sdk and the Vercel AI SDK tracing cookbook describe Braintrust's AI SDK span coverage (generateText, streamText, generateObject, streamObject, tool-call child spans) and do not mention experimental_evaluate, experimental_decide, or a decision/evaluation span anywhere.

Upstream references

  • ai package changelog (raw): https://raw.githubusercontent.com/vercel/ai/main/packages/ai/CHANGELOG.md
    • 7.0.128: "feat: rename evaluate to decide"
    • 7.0.133: "Add ordered text, file, and JSON parts to experimental decision state"; image input support for "OpenAI Decisions and language model adapters"; "Serialize decision file bytes as base64" in OpenTelemetry attributes
    • 7.0.139: "Fix validation of rounded choice probabilities in experimental_decide"
    • Latest version in changelog: 7.0.140

Local files inspected

  • js/src/auto-instrumentations/configs/ai-sdk.ts — full file read; only experimental_evaluate is targeted, with a comment noting "Evaluation does not emit v7 telemetry callbacks. Instrument its public export."
  • Repo-wide case-insensitive grep for experimental_decide, generateDecision, decisions under js/src/ — no relevant matches
Ngôn ngữ chính
TypeScript
Star
29
Fork
16
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
72

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của braintrustdata/braintrust-sdk-javascript

Tất cả issue của braintrustdata/braintrust-sdk-javascript

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.