Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

terraphim_rlm: require a per-sub-result verification plan (recheck / control / independent route)

Đang mở
  • Có gì không ổn?
#969 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
48/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
rust
Lĩnh vực
ai, testing-qa

Hướng nghiên cứu

Start with the RLM design doc and the rlm_* sub-call result definitions, then inspect the RLM test suite and executor paths. Done means the design states the verification requirement, results carry the accepted verified_by values with gated refusal of none, and a control test fails when execution is skipped or silently falls back.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Proposal

Make a verification plan for each sub-result a design requirement for terraphim_rlm decompositions. Decomposition alone does not make a long recursive run trustworthy. Every sub-call that produces a result the parent relies on should declare how that result is checked, for example:

  • an exact or deterministic re-check (a recomputation, test, schema or invariant);
  • a known-answer control instance run through the same path;
  • an independent second route, where it is cheap.

Why

The nine-loop computation (Anthropic, 2026-09-25) is a budget-bounded, decomposable, long-running job of exactly the kind RLM targets. The result was trusted because of its checks, not because of the run itself: an eight-loop control checked against the published value, exact arithmetic modulo several primes, and a cross-check between two representations. The open bugs #3405 (the Firecracker stub reports exit 0 when no VM ran) and #3406 (silent fallback to LocalExecutor) are the failure class this guards against. A sandbox that reports success when nothing ran passes every check except a known-answer control.

Acceptance

  • The RLM design doc states the requirement.
  • rlm_* sub-call results carry a verified_by field: none, recheck, control or independent. The parent can refuse results marked none for gated outputs.
  • At least one control instance in the RLM test suite fails loudly when the executor does not actually run code (covers #3405 and #3406).

Mirror of Gitea terraphim/terraphim-ai# (source of truth).

Ngôn ngữ chính
Rust
Star
65
Fork
5
Merge trung bình
1 giờ 17 phút
Pull request đã merge (30 ngày)
2

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của terraphim/terraphim-ai

Tất cả issue của terraphim/terraphim-ai

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.