diff_results.py does not show how the per-combination timings changed between two result sets
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 78/100
調査の方向性
まず scripts/diff_results.py とその関数 provenance_report を確認し、次に results/PROVENANCE.json の時間エントリと既存のテストを調べます。2つの小さな provenance ファイルを比較し、時間の変化が最も大きい5つの組み合わせと合計を示します。片方に時間の記録がない場合は no timings recorded と報告します。2つの小さな PROVENANCE.json ファイルを使ったテストでこの動作がカバーされれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Where: scripts/diff_results.py (provenance_report), results/PROVENANCE.json.
Current gap: faircode benchmark now records the seconds each strategy/model combination took (#1329) in the run's provenance entry, and diff_results.py prints both sides' provenance and library versions, but ignores the timings, so a slowdown after a dependency bump (the case the rerun-benchmark label exists for) still has to be found by reading two JSON files.
Suggested approach: When both sides have timings, print the five combinations whose seconds changed most (and the total) in the provenance block; say no timings recorded when a side has none.
Done when: the provenance report shows the largest timing changes between two saved result sets, covered by a test with two small PROVENANCE.json files.
- 主要言語
- HTML
- スター
- 47
- フォーク
- 45
- 平均マージ
- 2時間 39分
- マージ済み PR(30日)
- 57
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
yakew7/Fair-Code のほかの issue
-
enhancement good first issue tooling
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
ci enhancement testing
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue reproducibility
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
community documentation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue testing
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
yakew7/Fair-Code の issue をすべて見る
似ている issue
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
ReduxISU/Redux_Frontend#325 ·
メンテナーはふだん 4 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
416rehman/Guardrails#1714 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
dginev/latexml-oxide#943 ·
メンテナーはふだん 1 日以内に返信
-
help wanted platform/macos
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
griffinwork40/agent-afk#5178 ·
メンテナーはふだん 1 日以内に返信