bencheeorg/benchee

Option to benchmark until confidence value is reached

Open

#9 opened on 2016年6月20日

GitHub で見る
 (1 comment) (0 reactions) (0 assignees)Elixir (69 forks)batch import
enhancementhelp wanted

Repository metrics

Stars
 (1,509 stars)
PR merge metrics
 (平均マージ 9d 11h) (30d で 5 merged PRs)

説明

I'm not sure how this works, but there are measures in statistics to be confident of your results (standard deviation we have and I think it is one of them) - with this given we could add an option that says benchmark until this confidence level is reached, with some timeout though so it doesn't run forever if results vary too much naturally.

コントリビューターガイド

調査方針
benchee ライブラリにおける既存のオプション（例：:time や :warmup）の実装方法を調査します（例：Benchee.Configuration および Benchee.Runner 内）。信頼区間の閾値に基づいて終了をトリガーする新しいオプションの追加方法を理解します。信頼区間の統計式の使用を検討し、関連する issue #9 を参照して議論します。無限実行を防ぐためのタイムアウト機構を確実に実装してください。
技術スタック
elixir
領域
tooling
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
おおむね明確
前提条件
ElixirStatistics
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
60