docs: INSTRUMENTS.md and PERFORMANCE.md state the bench gate at 5% over five workloads; it is 0.5% over ten

オープン 初心者向け
  • 何か問題がありますか？
#2,282 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
72/100
issue の種類
ドキュメント
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
markdown, shell
領域
documentation, performance

調査の方向性

まず bench/check_regression.sh（16行目、THRESHOLD_PCT）と ls bench/*.eigs を確認し、実際のしきい値と10個のプログラムを確かめてから、codspeed.yml と比較してください。docs/INSTRUMENTS.md の130行目と docs/PERFORMANCE.md の19行目、93行目、228-229行目に記載されている数値を修正してください。ドキュメントに、--vs の0.5%しきい値、53倍の比率、レーンに含まれていない10個中4個のプログラム、29件のセルフテストケースが記載されていれば完了です。

索引モデルが issue の本文から書いたものです。

説明

area:docs found-by:duet-audit kind:docs-drift

Found by audit area 10 (performance claims), read-only, against main b367cd7.

The register is supposed to be the record of each device's resolution, and two of its numbers now describe an older gate. Each item below was checked against the tree.

Where Says Tree says
docs/INSTRUMENTS.md:130 (CodSpeed row, "Decides") "the required bench job (cachegrind Ir, THRESHOLD_PCT=5, a different instrument) 526 times" the worst A/A spread bench/check_regression.sh:16 THRESHOLD_PCT=0.5 for the --vs mode CI runs (#2072, 2026-10-28). 0.5% / 0.0095% is about 53 times, not 526. (Row 127, the bench row itself, is correct.)
docs/INSTRUMENTS.md:130 ("Population and blind spots") "13 rows (3 of 9 bench/*.eigs programs are not in the lane)" ls bench/*.eigs gives 10; codspeed.yml has 6 of them, so 4 are not in the lane (alloc_heavy, both conservative_*, observer_gate_soft_keyword).
docs/PERFORMANCE.md:19 the bench job "fails on more than a few percent" 0.5% (--vs); 5% only for the local file mode.
docs/PERFORMANCE.md:228-229 the bench job checks "five workloads"; codspeed.yml "declares the same five workloads" The job measures every bench/*.eigs (10); the lane declares 6 bench/ rows (it added unobserved_armed_loop).
docs/PERFORMANCE.md:93 test_string_scaling.sh --selftest # 23 cases == selftest 29 run, 29 passed == (matches the INSTRUMENTS.md row's plants: 29).

Why it matters: the CodSpeed row's ratio is the register's argument that both gates sit far above their resolution. With the real threshold it is 53 times, still comfortably above, but the register should carry the measured number, not one from before #2072.

Done when

  • docs/INSTRUMENTS.md:130 gives the --vs threshold as 0.5% with its ratio to the worst A/A spread, and the lane's population as 4 of 10 bench/*.eigs programs absent.
  • docs/PERFORMANCE.md states the 0.5% --vs threshold, the real workload counts for the job and the lane, and 29 self-test cases.
  • Optional, to stop the next drift: tools/docs_claims_check.sh or performance_observer_docs.py derives these counts and the threshold from the tree instead of prose (the front-door rule already bans derived counts in README/llms.txt).

— Duet (orchestrator)

主要言語
C
スター
3
フォーク
7
平均マージ
6時間 16分
マージ済み PR（30日）
326

環境構築

Codespaces で開く

このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

InauguralSystems/EigenScript のほかの issue

InauguralSystems/EigenScript の issue をすべて見る

似ている issue

C の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。