Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Make deterministic (non-LLM) audits explicitly test-only

Đang mở
  • Có gì không ổn?
#505 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
cli, developer-experience

Hướng nghiên cứu

Start by reading the darnit audit and darnit run command entry points, then trace how run headers, machine-readable output, and compliance levels are produced. Review the README and install/usage docs for the relevant descriptions. Done means deterministic runs are clearly marked as test-only, make no compliance claims or attestations, keep judgment-dependent controls pending, and the help and docs point users to the supported surfaces.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

documentation interface-cli

Summary

The deterministic (non-LLM) audit paths -- darnit audit, darnit run, and any mode that runs controls without resolving LLM judgments -- exist to test individual handlers, passes, and controls during development. They are not a supported way to evaluate a project. The supported surfaces are the MCP server with agent skills (a coding agent answers the judgment tasks) and darnit harness (the headless driver for CI and fleets, which dispatches LLM judgments itself).

Today nothing in the output or documentation makes that distinction, so a deterministic run can look like a real compliance result.

Proposed changes

  • Label the output. Deterministic runs state in their header and in machine-readable output (run_mode: "deterministic-test") that they are a development/test run and not a compliance result. Controls that would need a judgment remain pending and are shown as such.
  • No compliance claims. Deterministic runs do not report a level as compliant and do not produce attestations, in line with conservative-by-default.
  • Help and docs. CLI help for these commands, the README, and the install/usage docs describe them as testing tools and point users to the MCP server + skills or darnit harness.
  • Focused test tooling (optional). Consider a narrower entry point for the actual use case -- running one control or one handler against a fixture repository and printing each pass's outcome and evidence -- so plugin authors have a first-class way to test hooks.

Out of scope

Removing the deterministic engine: the check engine itself is shared by every driver, and deterministic passes remain the first step of every real run.

Ngôn ngữ chính
Python
Star
22
Fork
27
Merge trung bình
1 ngày 20 giờ
Pull request đã merge (30 ngày)
39

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của darnitdevorg/darnit

Tất cả issue của darnitdevorg/darnit

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.