Keep Jev answer confidence for OpenRouter evaluation models in Vercel AI
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 新手友好度
- 80/100
- Issue 类型
- 缺陷
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- typescript
调研方向
从 packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts 开始，并结合 issue 中描述的 providerMetadata 形状检查 withProviderConfidence。验证 OpenRouter 评估回答是否在 gen_ai.output.messages 中保留 confidence 和 legend，并与现有的 typesafe-ai 行为一致。
由索引模型根据 Issue 内容生成。
描述
Vercel AI experimental_evaluate with openrouter.evaluationModel('typesafe/jev-1.13') (@openrouter/ai-sdk-provider 3.1.0) gives an evaluate span, but the answers in gen_ai.output.messages lose confidence and legend.
The OpenRouter provider moves these fields into providerMetadata.openrouter.answers[<question id>] ({ confidence, legend }). Our withProviderConfidence in packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts only reads providerMetadata.typesafe.confidence, which is the shape of @ai-sdk/typesafe-ai.
Expected
Evaluate answers from the OpenRouter provider keep confidence (choice, score) and legend (score), the same as answers from @ai-sdk/typesafe-ai.
Notes
- OpenRouter also sends
providerMetadata.openrouter.usage.costandprovider. We could record these too, but they are optional. - Related: Vercel AI
experimental_evaluate(getsentry/sentry-javascript#24694).
- 主要语言
- TypeScript
- 星标
- 8.8k
- 派生
- 1.9k
- 平均合并
- 2 天 4 分钟
- 30 天内合并 PR
- 545
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
getsentry/sentry-javascript 的其他 Issue
-
javascript
难度 2/5 1-3 小时 新手友好度 75/100
getsentry/sentry-javascript#24200 · 2 条评论 ·
维护者通常 1 天内回复
-
javascript Task
难度 2/5 1-3 小时 新手友好度 82/100
getsentry/sentry-javascript#24134 · 1 条评论 ·
维护者通常 1 天内回复
-
Cloudflare Workers javascript Tests
难度 2/5 1-3 小时 新手友好度 78/100
getsentry/sentry-javascript#24051 · 1 条评论 ·
维护者通常 1 天内回复
-
Bug Bun javascript
难度 2/5 1-3 小时 新手友好度 92/100
getsentry/sentry-javascript#24045 · 1 条评论 ·
维护者通常 1 天内回复
-
javascript
难度 2/5 1-3 小时 新手友好度 75/100
getsentry/sentry-javascript#24043 · 1 条评论 ·
维护者通常 1 天内回复
查看 getsentry/sentry-javascript 的全部 Issue
相似的 Issue
-
type/bug
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复
-
community first-timers-only good first issue hacktoberfest help wanted low hanging fruit up-for-grabs
难度 1/5 1 小时以内 新手友好度 95/100
lingdojo/kana-dojo#31593 · 1 条评论 · 5 个 reaction ·
维护者通常 1 天内回复
-
bug
难度 1/5 1-3 小时 新手友好度 90/100
apache/fineract-backoffice-ui#697 ·
维护者通常 1 天内回复
-
good first issue hacktoberfest help wanted
难度 2/5 1-3 小时 新手友好度 88/100
libredb/libredb-studio#1291 · 1 条评论 ·
维护者通常 1 天内回复
-
bug P1
难度 2/5 1-3 小时 新手友好度 88/100
Yeachan-Heo/gajae-code#6295 · 1 条评论 ·
维护者通常 1 天内回复