Keep Jev answer confidence for OpenRouter evaluation models in Vercel AI
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 80/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- typescript
- Área
- observability
Línea de trabajo
Empieza en packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts e inspecciona withProviderConfidence junto con las estructuras de providerMetadata descritas en el issue. Verifica que las respuestas de evaluación de OpenRouter conserven confidence y legend en gen_ai.output.messages, de acuerdo con el comportamiento existente de typesafe-ai.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Vercel AI experimental_evaluate with openrouter.evaluationModel('typesafe/jev-1.13') (@openrouter/ai-sdk-provider 3.1.0) gives an evaluate span, but the answers in gen_ai.output.messages lose confidence and legend.
The OpenRouter provider moves these fields into providerMetadata.openrouter.answers[<question id>] ({ confidence, legend }). Our withProviderConfidence in packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts only reads providerMetadata.typesafe.confidence, which is the shape of @ai-sdk/typesafe-ai.
Expected
Evaluate answers from the OpenRouter provider keep confidence (choice, score) and legend (score), the same as answers from @ai-sdk/typesafe-ai.
Notes
- OpenRouter also sends
providerMetadata.openrouter.usage.costandprovider. We could record these too, but they are optional. - Related: Vercel AI
experimental_evaluate(getsentry/sentry-javascript#24694).
- Lenguaje dominante
- TypeScript
- Estrellas
- 8.8k
- Forks
- 1.9k
- Merge medio
- 2 d 1 h
- PR fusionados (30 d)
- 554
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de getsentry/sentry-javascript
-
javascript
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
getsentry/sentry-javascript#24200 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
javascript Task
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
getsentry/sentry-javascript#24134 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Cloudflare Workers javascript Tests
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
getsentry/sentry-javascript#24051 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Bug Bun javascript
Dificultad 2/5 1-3 horas Aptitud para principiantes 92/100
getsentry/sentry-javascript#24045 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
vercel-edge: Missing exportsAbiertojavascript
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
getsentry/sentry-javascript#24043 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de getsentry/sentry-javascript
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
external-issue to-triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
diegosouzapw/OmniRoute#15401 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
code-yeongyu/oh-my-openagent#9454 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
smart-village-solutions/sva-studio#1654 ·
Los mantenedores suelen responder en 1 día