Probes: record more facts, add a generic chat/completions probe and a weekly run

Abierto
#717 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
38/100
Tipo de issue
Nueva funcionalidad
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
github-actions, nodejs, typescript
Área
ci-cd, tooling

Línea de trabajo

Start at src/server/providers/probes/types.ts to see the single-fact ProbeRecord shape, then read the existing per-provider probes and the pnpm run probe -- <provider> --write CLI entry point that they feed. The chat/completions probe should key off the response body and status so only explicit limits (an error naming the field, or a 400) are recorded, with derivation probe-verified plus a date. Finally wire the weekly job in .github/workflows and confirm done by checking that a changed record produces a pull request and an unchanged run produces none.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Problem

A probe record can state one fact: ProbeRecord.fact is the literal 'schemaEndpointId' (src/server/providers/probes/types.ts). Nothing runs probes on a schedule. Facts that one cheap live request can settle stay empty (gap report, 2026-11-21):

Fact Missing chat rows Mostly
replayReasoningContent ~1,200 llmgateway 687, vercel 275
contextWindow ~640 llmgateway 539
maxOutput ~440 together 185, dashscope-cn 127
mandatoryUnknown flag ~430 llmgateway 251

Ask

  • Widen the record to replayReasoningContent, maxOutput, contextWindow and reasoning.mandatory.
  • Write one generic probe for the chat/completions wire, shared by every provider on it.
  • Store a value only when the response is explicit: an error that states the limit, or a 400 that names the field. A plain 200 states nothing.
  • Add a weekly CI job that runs pnpm run probe -- <provider> --write and opens a pull request. A person merges it.
  • Cap spend per run and never print a key.

Acceptance

  • A probed fact is served with derivation probe-verified and a date.
  • The weekly job opens a pull request when a record changes and none when nothing changed.
Lenguaje dominante
TypeScript
Estrellas
0
Forks
1
Merge medio
5 h 40 min
PR fusionados (30 d)
193

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de TanStack/schemas

Todos los issues de TanStack/schemas

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.