Make reference auditors honor `audit_scoring_policy` in the manifest

Đang mở
  • Có gì không ổn?
#330 4 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@0xzoz đang làm issue này rồi.

Từ ngày 12/11/2026.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
54/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, solidity
Lĩnh vực
machine-learning, testing

Hướng nghiên cứu

Read both reference implementations of load_scoring_policy, including cache_model_1/services/scoring.py, and compare them with the GI-start consumer at dincli/cli/modelownerd/gi.py and the shipped manifest. Trace both auditors' service tests and run focused cases with two different min_accuracy thresholds. Done means both auditors honor the documented canonical field, edge cases for missing, legacy, conflicting, and malformed policies are covered, and the example manifests and documentation explain the median rule.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Approved

Observed against ed175d0deceddfa2e63175ec7752c800b31c1fbf during the November 10 Fashion-MNIST local test investigation. The subsequent full round with three notebooks and a Raspberry Pi used recorded workarounds; its success does not establish that this upstream defect is fixed. Related: #276 and #39.

Problem and evidence

The shipped manifests put thresholds under audit_scoring_policy, and GI-start code reads that field. Both reference load_scoring_policy implementations read scoring_policy. With the shipped layout they silently use defaults instead of the configured audit thresholds.

A focused reproduction extracted the actual upstream loader and default dictionary, wrote the shipped manifest with min_accuracy changed to 99, and called the loader. Both models returned an effective threshold of 50.0. This is a loader-level reproduction, not a second live rejection/acceptance experiment.

The numeric defaults matched our intended gates during the completed round, so this does not show that a model was wrongly accepted in that run. It shows that a model owner's non-default policy can be ignored.

Proposed scope

Choose and document one canonical field across manifests and consumers. If supporting the old name, define explicit precedence or reject conflicting values. Validate policy shape and test non-default values through the auditor service. Align the stale legacy_mean_until_contract_v2 metadata with the median already used on-chain; do not change the contract aggregation rule as part of this fix.

Acceptance criteria
  • Changing audit_scoring_policy.metrics.thresholds.min_accuracy changes the policy used by both reference auditors.
  • A known model passes/fails as expected under two deliberately different thresholds.
  • Missing fields, legacy aliases, conflicting fields and malformed policies have documented behavior.
  • GI pass-score configuration and auditor eligibility policy remain distinct, intentional controls.
  • Example manifests and documentation describe the effective median rule.
Full-round test report

See Discussion #331 — Fashion-MNIST with three notebooks and a Raspberry Pi for the setup diagram, completed protocol roles, results and experiment adaptations.

Ngôn ngữ chính
Python
Star
4
Fork
7
Merge trung bình
5 ngày 15 giờ
Pull request đã merge (30 ngày)
43

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của InfiniteZeroFoundation/DevNet

Tất cả issue của InfiniteZeroFoundation/DevNet

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.