Live eval harness: run every skill's refusal evals against a model (split rubric, CI-gated)

Đang mở
  • Có gì không ổn?
#61 7 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, python
Lĩnh vực
ai, ci-cd, security, testing-qa

Hướng nghiên cứu

Start with scripts/test-ci-gates.sh, docs/roadmap.md, and the existing .claude/skills/*/evals/evals.json files to understand the current validation and eval formats. Then map out the schema changes, live eval runner, scheduled and dispatch workflow, and offline PR gate described in the issue. Done means all evals are covered, hard and soft axes use their specified checks, spend and judge separation are enforced, and a known-bad fixture fails the gate.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

The suite's load-bearing safety property — per-skill refusal evals — is only shape-validated today (scripts/test-ci-gates.sh), never executed against a model. Turns docs/roadmap.md Loop 2 (deterministic gates for boundary/non-fabrication + a decorrelated LLM-judge for soft axes) into built infrastructure.

Where: new scripts/run-evals.* consuming every .claude/skills/*/evals/evals.json; a scheduled/dispatch workflow; a schema extension (axis tag hard|soft + a machine-checkable predicate per hard expectation) across all evals + the shape validator.
Done when: harness runs each eval prompt against a configured subject model; deterministic predicate on hard axes, LLM-judge on soft only; aborts when judge==subject model id (decorrelation by identifier, no vendor name); a per-run spend cap is enforced before each call; writes a dated results artifact (per-eval pass/fail, model ids, spend); model choice in env/config only — no vendor/model name in any skill's prose.
Verify: live run on schedule/dispatch against main (where the secret lives), never on PR; a separate deterministic offline PR gate asserts the results artifact exists, is not stale, and covers every eval id — failing closed (not skip-when-key-absent). A golden known-bad fixture must be rejected by its predicate, proving the gate can fail.
Why: today a skill could silently start fabricating a TAM, CWE, or compliance verdict and every gate stays green. Single biggest hole in the safety story. Grounded by two independent review agents this session.

Ngôn ngữ chính
Python
Star
2
Fork
1
Merge trung bình
1 giờ 29 phút
Pull request đã merge (30 ngày)
551

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của protocol/perun

Tất cả issue của protocol/perun

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.