tests: golden files + bless mode for the suite runner's assertion blocks
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 45/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- shell
- 領域
- testing-qa, tooling
調査の方向性
Start by reading tests/run_all_tests.sh, focusing on its assertion-block sections and how the suite runner selects and reports them. Run the suite on main and record the current wc -l value before identifying the five largest sections. Done means those sections use checked-in golden files, --bless
rewrites the expected-output files, unchanged main passes, and a planted output change produces a readable diff that bless resolves.索引モデルが issue の本文から書いたものです。
説明
Split from #1275 (plan step 4; see the DoD check in #1275). #1275's DoD bounds tools/, not the suite runner, so this is its own work.
Problem. Much of tests/run_all_tests.sh (7,606 lines) is hand-written grep -qE / count assertions. Each one is code that can be wrong, and each new case adds more assertion code.
Prior art. rustc compiletest compares against checked-in .stdout/.stderr files, and --bless regenerates them for review as an ordinary diff. LLVM uses RUN: + FileCheck. The checker is diff, so it needs no self-test.
Done when:
- The runner has a bless mode (
--bless <section>) that rewrites a section's expected-output files. - The five largest assertion-block sections are converted to golden files and pass unchanged on
main. - A deliberate output change in one converted section fails with a readable diff, and
--blessfixes it (planted once, recorded in the PR). wc -l tests/run_all_tests.shbefore and after is recorded here.
- 主要言語
- C
- スター
- 3
- フォーク
- 7
- 平均マージ
- 3時間 58分
- マージ済み PR（30日）
- 105
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
InauguralSystems/EigenScript のほかの issue
-
area:lint-tooling bug
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
InauguralSystems/EigenScript#1340 ·
メンテナーはふだん 1 日以内に返信
-
area:stdlib found-by:code-review kind:silent-wrong
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
InauguralSystems/EigenScript#1338 ·
メンテナーはふだん 1 日以内に返信
-
area:lint-tooling found-by:critic kind:docs-drift
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
InauguralSystems/EigenScript#1335 ·
メンテナーはふだん 1 日以内に返信
-
area:ci found-by:critic kind:gate-defect
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
InauguralSystems/EigenScript#1311 ·
メンテナーはふだん 1 日以内に返信
-
enrolment: decide test_gc_runner_controls.py (exempt vs enrol) and whether floors need a ratchetオープンarea:gates found-by:critic kind:decision
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
InauguralSystems/EigenScript#1280 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
InauguralSystems/EigenScript の issue をすべて見る
似ている issue
-
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
ClickHouse/pg_clickhouse#383 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
johnsonjh/emu2-cpm86#68 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Zenmap CrashオープンZenmap
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
BasedHardware/omi#19306 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
fastfetch-cli/fastfetch#2619 ·
メンテナーはふだん 1 日以内に返信