Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Keep Jev answer confidence for OpenRouter evaluation models in Vercel AI

Aperta Adatta ai principianti
  • Qualcosa non va?
#24,860 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
80/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
typescript
Ambito
observability

Direzione di ricerca

Inizia in packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts e analizza withProviderConfidence insieme alle strutture di providerMetadata descritte nell’issue. Verifica che le risposte di valutazione di OpenRouter preservino confidence e legend in gen_ai.output.messages, in linea con il comportamento esistente di typesafe-ai.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Vercel AI experimental_evaluate with openrouter.evaluationModel('typesafe/jev-1.13') (@openrouter/ai-sdk-provider 3.1.0) gives an evaluate span, but the answers in gen_ai.output.messages lose confidence and legend.

The OpenRouter provider moves these fields into providerMetadata.openrouter.answers[<question id>] ({ confidence, legend }). Our withProviderConfidence in packages/server-utils/src/integrations/vercel-ai/vercel-ai-dc-subscriber.ts only reads providerMetadata.typesafe.confidence, which is the shape of @ai-sdk/typesafe-ai.

Expected

Evaluate answers from the OpenRouter provider keep confidence (choice, score) and legend (score), the same as answers from @ai-sdk/typesafe-ai.

Notes

  • OpenRouter also sends providerMetadata.openrouter.usage.cost and provider. We could record these too, but they are optional.
  • Related: Vercel AI experimental_evaluate (getsentry/sentry-javascript#24694).
Lingua principale
TypeScript
Stelle
8.8k
Fork
1.9k
Merge medio
1g 23h
PR unite (30g)
494

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di getsentry/sentry-javascript

Tutte le issue di getsentry/sentry-javascript

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.