diff_results.py does not show how the per-combination timings changed between two result sets

オープン 初心者向け
#1,334 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
78/100
issue の種類
機能追加
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
json, python
領域
tooling

調査の方向性

まず scripts/diff_results.py とその関数 provenance_report を確認し、次に results/PROVENANCE.json の時間エントリと既存のテストを調べます。2つの小さな provenance ファイルを比較し、時間の変化が最も大きい5つの組み合わせと合計を示します。片方に時間の記録がない場合は no timings recorded と報告します。2つの小さな PROVENANCE.json ファイルを使ったテストでこの動作がカバーされれば完了です。

索引モデルが issue の本文から書いたものです。

説明

enhancement reproducibility tooling

Where: scripts/diff_results.py (provenance_report), results/PROVENANCE.json.

Current gap: faircode benchmark now records the seconds each strategy/model combination took (#1329) in the run's provenance entry, and diff_results.py prints both sides' provenance and library versions, but ignores the timings, so a slowdown after a dependency bump (the case the rerun-benchmark label exists for) still has to be found by reading two JSON files.

Suggested approach: When both sides have timings, print the five combinations whose seconds changed most (and the total) in the provenance block; say no timings recorded when a side has none.

Done when: the provenance report shows the largest timing changes between two saved result sets, covered by a test with two small PROVENANCE.json files.

主要言語
HTML
スター
47
フォーク
45
平均マージ
2時間 39分
マージ済み PR(30日)
57

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

yakew7/Fair-Code のほかの issue

yakew7/Fair-Code の issue をすべて見る

似ている issue

DevTools の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。