Probes: record more facts, add a generic chat/completions probe and a weekly run

オープン
#717 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
38/100
issue の種類
機能追加
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
github-actions, nodejs, typescript
領域
ci-cd, tooling

調査の方向性

Start at src/server/providers/probes/types.ts to see the single-fact ProbeRecord shape, then read the existing per-provider probes and the pnpm run probe -- <provider> --write CLI entry point that they feed. The chat/completions probe should key off the response body and status so only explicit limits (an error naming the field, or a 400) are recorded, with derivation probe-verified plus a date. Finally wire the weekly job in .github/workflows and confirm done by checking that a changed record produces a pull request and an unchanged run produces none.

索引モデルが issue の本文から書いたものです。

説明

Problem

A probe record can state one fact: ProbeRecord.fact is the literal 'schemaEndpointId' (src/server/providers/probes/types.ts). Nothing runs probes on a schedule. Facts that one cheap live request can settle stay empty (gap report, 2026-11-21):

Fact Missing chat rows Mostly
replayReasoningContent ~1,200 llmgateway 687, vercel 275
contextWindow ~640 llmgateway 539
maxOutput ~440 together 185, dashscope-cn 127
mandatoryUnknown flag ~430 llmgateway 251

Ask

  • Widen the record to replayReasoningContent, maxOutput, contextWindow and reasoning.mandatory.
  • Write one generic probe for the chat/completions wire, shared by every provider on it.
  • Store a value only when the response is explicit: an error that states the limit, or a 400 that names the field. A plain 200 states nothing.
  • Add a weekly CI job that runs pnpm run probe -- <provider> --write and opens a pull request. A person merges it.
  • Cap spend per run and never print a key.

Acceptance

  • A probed fact is served with derivation probe-verified and a date.
  • The weekly job opens a pull request when a record changes and none when nothing changed.
主要言語
TypeScript
スター
0
フォーク
1
平均マージ
5時間 40分
マージ済み PR(30日)
193

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

TanStack/schemas のほかの issue

TanStack/schemas の issue をすべて見る

似ている issue

TypeScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。