Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

Keep Jev answer confidence for OpenRouter evaluation models in Vercel AI

Aberta Para iniciantes
  • Algo errado?
#24,860 1 comentário 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
2/5
Tempo estimado
1-3 horas
Facilidade para iniciantes
80/100
Tipo de issue
Bug
Clareza
Claramente especificada
Status de atividade
Ativa
Stack de tecnologia
typescript
Domínio
observability

Direção de pesquisa

Comece em packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts e inspecione withProviderConfidence junto com as estruturas de providerMetadata descritas na issue. Verifique se as respostas de avaliação do OpenRouter preservam confidence e legend em gen_ai.output.messages, correspondendo ao comportamento existente de typesafe-ai.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Vercel AI experimental_evaluate with openrouter.evaluationModel('typesafe/jev-1.13') (@openrouter/ai-sdk-provider 3.1.0) gives an evaluate span, but the answers in gen_ai.output.messages lose confidence and legend.

The OpenRouter provider moves these fields into providerMetadata.openrouter.answers[<question id>] ({ confidence, legend }). Our withProviderConfidence in packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts only reads providerMetadata.typesafe.confidence, which is the shape of @ai-sdk/typesafe-ai.

Expected

Evaluate answers from the OpenRouter provider keep confidence (choice, score) and legend (score), the same as answers from @ai-sdk/typesafe-ai.

Notes

  • OpenRouter also sends providerMetadata.openrouter.usage.cost and provider. We could record these too, but they are optional.
  • Related: Vercel AI experimental_evaluate (getsentry/sentry-javascript#24694).
Linguagem predominante
TypeScript
Estrelas
8.8k
Forks
1.9k
Merge médio
1d 9h
PRs com merge (30d)
523

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de getsentry/sentry-javascript

Todas as issues de getsentry/sentry-javascript

Issues semelhantes

Mais issues de TypeScript

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.