Probes: record more facts, add a generic chat/completions probe and a weekly run

Aperta
#717 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
38/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
github-actions, nodejs, typescript
Ambito
ci-cd, tooling

Direzione di ricerca

Start at src/server/providers/probes/types.ts to see the single-fact ProbeRecord shape, then read the existing per-provider probes and the pnpm run probe -- <provider> --write CLI entry point that they feed. The chat/completions probe should key off the response body and status so only explicit limits (an error naming the field, or a 400) are recorded, with derivation probe-verified plus a date. Finally wire the weekly job in .github/workflows and confirm done by checking that a changed record produces a pull request and an unchanged run produces none.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Problem

A probe record can state one fact: ProbeRecord.fact is the literal 'schemaEndpointId' (src/server/providers/probes/types.ts). Nothing runs probes on a schedule. Facts that one cheap live request can settle stay empty (gap report, 2026-11-21):

Fact Missing chat rows Mostly
replayReasoningContent ~1,200 llmgateway 687, vercel 275
contextWindow ~640 llmgateway 539
maxOutput ~440 together 185, dashscope-cn 127
mandatoryUnknown flag ~430 llmgateway 251

Ask

  • Widen the record to replayReasoningContent, maxOutput, contextWindow and reasoning.mandatory.
  • Write one generic probe for the chat/completions wire, shared by every provider on it.
  • Store a value only when the response is explicit: an error that states the limit, or a 400 that names the field. A plain 200 states nothing.
  • Add a weekly CI job that runs pnpm run probe -- <provider> --write and opens a pull request. A person merges it.
  • Cap spend per run and never print a key.

Acceptance

  • A probed fact is served with derivation probe-verified and a date.
  • The weekly job opens a pull request when a record changes and none when nothing changed.
Lingua principale
TypeScript
Stelle
0
Fork
1
Merge medio
5h 40m
PR unite (30g)
193

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di TanStack/schemas

Tutte le issue di TanStack/schemas

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.