terraphim_rlm: require a per-sub-result verification plan (recheck / control / independent route)
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 48/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- rust
- 領域
- ai, testing-qa
調査の方向性
Start with the RLM design doc and the rlm_* sub-call result definitions, then inspect the RLM test suite and executor paths. Done means the design states the verification requirement, results carry the accepted verified_by values with gated refusal of none, and a control test fails when execution is skipped or silently falls back.
索引モデルが issue の本文から書いたものです。
説明
Proposal
Make a verification plan for each sub-result a design requirement for terraphim_rlm decompositions. Decomposition alone does not make a long recursive run trustworthy. Every sub-call that produces a result the parent relies on should declare how that result is checked, for example:
- an exact or deterministic re-check (a recomputation, test, schema or invariant);
- a known-answer control instance run through the same path;
- an independent second route, where it is cheap.
Why
The nine-loop computation (Anthropic, 2026-09-25) is a budget-bounded, decomposable, long-running job of exactly the kind RLM targets. The result was trusted because of its checks, not because of the run itself: an eight-loop control checked against the published value, exact arithmetic modulo several primes, and a cross-check between two representations. The open bugs #3405 (the Firecracker stub reports exit 0 when no VM ran) and #3406 (silent fallback to LocalExecutor) are the failure class this guards against. A sandbox that reports success when nothing ran passes every check except a known-answer control.
Acceptance
- The RLM design doc states the requirement.
rlm_*sub-call results carry averified_byfield:none,recheck,controlorindependent. The parent can refuse results markednonefor gated outputs.- At least one control instance in the RLM test suite fails loudly when the executor does not actually run code (covers #3405 and #3406).
Mirror of Gitea terraphim/terraphim-ai# (source of truth).
- 主要言語
- Rust
- スター
- 65
- フォーク
- 5
- 平均マージ
- 1時間 17分
- マージ済み PR（30日）
- 2
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
terraphim/terraphim-ai のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
terraphim/terraphim-ai#968 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
terraphim/terraphim-ai#967 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
terraphim/terraphim-ai#966 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
terraphim/terraphim-ai#965 · コメント 2 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
terraphim/terraphim-ai#885 ·
terraphim/terraphim-ai の issue をすべて見る
似ている issue
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
zcashlabs/thus-spoke-zakura#153 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
topgrade-rs/topgrade#2395 ·
メンテナーはふだん 1 日以内に返信
-
app bug windows-os
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
メンテナーはふだん 1 日以内に返信
-
editor good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
funnyboy-roks/inq#54 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信