Probes: record more facts, add a generic chat/completions probe and a weekly run

Đang mở
#717 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
38/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, nodejs, typescript
Lĩnh vực
ci-cd, tooling

Hướng nghiên cứu

Start at src/server/providers/probes/types.ts to see the single-fact ProbeRecord shape, then read the existing per-provider probes and the pnpm run probe -- <provider> --write CLI entry point that they feed. The chat/completions probe should key off the response body and status so only explicit limits (an error naming the field, or a 400) are recorded, with derivation probe-verified plus a date. Finally wire the weekly job in .github/workflows and confirm done by checking that a changed record produces a pull request and an unchanged run produces none.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

A probe record can state one fact: ProbeRecord.fact is the literal 'schemaEndpointId' (src/server/providers/probes/types.ts). Nothing runs probes on a schedule. Facts that one cheap live request can settle stay empty (gap report, 2026-11-21):

Fact Missing chat rows Mostly
replayReasoningContent ~1,200 llmgateway 687, vercel 275
contextWindow ~640 llmgateway 539
maxOutput ~440 together 185, dashscope-cn 127
mandatoryUnknown flag ~430 llmgateway 251

Ask

  • Widen the record to replayReasoningContent, maxOutput, contextWindow and reasoning.mandatory.
  • Write one generic probe for the chat/completions wire, shared by every provider on it.
  • Store a value only when the response is explicit: an error that states the limit, or a 400 that names the field. A plain 200 states nothing.
  • Add a weekly CI job that runs pnpm run probe -- <provider> --write and opens a pull request. A person merges it.
  • Cap spend per run and never print a key.

Acceptance

  • A probed fact is served with derivation probe-verified and a date.
  • The weekly job opens a pull request when a record changes and none when nothing changed.
Ngôn ngữ chính
TypeScript
Star
0
Fork
1
Merge trung bình
5 giờ 40 phút
Pull request đã merge (30 ngày)
193

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của TanStack/schemas

Tất cả issue của TanStack/schemas

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.