The remaining slow benchmark tests train three model families on real audits for assertions a toy would prove

オープン 初心者向け
#1,320 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
83/100
issue の種類
リファクタリング
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
python, scikit-learn

調査の方向性

tests/test_benchmark.py と tests/test_benchmark_fast.py を読み、その後、issue にあるコマンドで低速の選択を実行してベースラインを確立します。構造に関するアサーションをロジスティック回帰を使った toy audit に移し、データ依存の数値については実際の audit 実行を残します。これらの構造テストが高速スイートに入り、低速の選択が60秒未満で実行されれば完了です。

索引モデルが issue の本文から書いたものです。

説明

enhancement reproducibility testing

Where: tests/test_benchmark.py (the result, two_attr_result and empty_cell_result fixtures).

Current gap: Sixteen tests still carry the slow marker because their fixtures run the whole grid with logistic regression, random forest and gradient boosting: setup alone takes 25 s (German Credit), 12 s and 11 s, 118 s for the whole slow selection, while most of their assertions (row counts, required keys, NaN handling of an empty cell) hold for any model family.

Repro:

python3 -m pytest tests/test_benchmark.py -m slow --durations=5

Suggested approach: Run the structural assertions on the toy audit with the logistic regression only (as tests/test_benchmark_fast.py does) and keep one real-audit run for the numbers that depend on the data.

Done when: the slow selection runs in under 60 s and the structural tests move to the fast suite.

主要言語
HTML
スター
47
フォーク
45
平均マージ
2時間 39分
マージ済み PR(30日)
57

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

yakew7/Fair-Code のほかの issue

yakew7/Fair-Code の issue をすべて見る

似ている issue

Machine Learning の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。