bencheeorg/benchee

Option to benchmark until confidence value is reached

Open

#9 aperta il 20 giu 2016

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Elixir (69 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (1509 star)
Metriche merge PR
 (Merge medio 9g 11h) (5 PR mergiate in 30 g)

Descrizione

I'm not sure how this works, but there are measures in statistics to be confident of your results (standard deviation we have and I think it is one of them) - with this given we could add an option that says benchmark until this confidence level is reached, with some timeout though so it doesn't run forever if results vary too much naturally.

Guida contributor

Direzione di ricerca
Indaga come le opzioni esistenti come :time e :warmup sono implementate nella libreria benchee (ad esempio, in Benchee.Configuration e Benchee.Runner). Comprendi come aggiungere una nuova opzione che attivi la terminazione in base a una soglia di confidenza. Considera l'uso di formule statistiche per gli intervalli di confidenza e fai riferimento all'issue collegata #9 per la discussione. Assicurati di implementare un meccanismo di timeout per prevenire esecuzioni infinite.
Tech stack
elixir
Dominio
tooling
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
ElixirStatistics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60