The remaining slow benchmark tests train three model families on real audits for assertions a toy would prove
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 83/100
- issue の種類
- リファクタリング
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- python, scikit-learn
調査の方向性
tests/test_benchmark.py と tests/test_benchmark_fast.py を読み、その後、issue にあるコマンドで低速の選択を実行してベースラインを確立します。構造に関するアサーションをロジスティック回帰を使った toy audit に移し、データ依存の数値については実際の audit 実行を残します。これらの構造テストが高速スイートに入り、低速の選択が60秒未満で実行されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Where: tests/test_benchmark.py (the result, two_attr_result and empty_cell_result fixtures).
Current gap: Sixteen tests still carry the slow marker because their fixtures run the whole grid with logistic regression, random forest and gradient boosting: setup alone takes 25 s (German Credit), 12 s and 11 s, 118 s for the whole slow selection, while most of their assertions (row counts, required keys, NaN handling of an empty cell) hold for any model family.
Repro:
python3 -m pytest tests/test_benchmark.py -m slow --durations=5
Suggested approach: Run the structural assertions on the toy audit with the logistic regression only (as tests/test_benchmark_fast.py does) and keep one real-audit run for the numbers that depend on the data.
Done when: the slow selection runs in under 60 s and the structural tests move to the fast suite.
- 主要言語
- HTML
- スター
- 47
- フォーク
- 45
- 平均マージ
- 2時間 39分
- マージ済み PR(30日)
- 57
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
yakew7/Fair-Code のほかの issue
-
enhancement good first issue tooling
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
ci enhancement testing
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue reproducibility
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
community documentation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue testing
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
yakew7/Fair-Code の issue をすべて見る
似ている issue
-
needs-triage
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
flashinfer-ai/flashinfer#9803 ·
メンテナーはふだん 1 日以内に返信
-
bug module: rl
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
NVIDIA/Megatron-LM#9644 ·
メンテナーはふだん 2 日以内に返信
-
`build_flavor_config_from_local_checkpoint` fails with transformers 5.23.0: pipeline `impl` is now a dotted-path string対応中かも @mlflow-app が今日担当しました。 オープンhas-closing-pr nightly triage: reproduced
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
mlflow/mlflow#28000 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
FluxML/Optimisers.jl#254 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
google-deepmind/sonnet#323 ·