bencheeorg/benchee

Option to benchmark until confidence value is reached

Open

#9 aberto em 20 de jun. de 2016

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Elixir (69 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (1.509 stars)
Métricas de merge de PR
 (Mesclagem média 9d 11h) (5 fundiu PRs em 30d)

Description

I'm not sure how this works, but there are measures in statistics to be confident of your results (standard deviation we have and I think it is one of them) - with this given we could add an option that says benchmark until this confidence level is reached, with some timeout though so it doesn't run forever if results vary too much naturally.

Guia do colaborador

Direção de pesquisa
Investigue como as opções existentes, como :time e :warmup, são implementadas na biblioteca benchee (por exemplo, em Benchee.Configuration e Benchee.Runner). Entenda como adicionar uma nova opção que dispare a terminação com base em um limite de confiança. Considere o uso de fórmulas estatísticas para intervalos de confiança e consulte a issue vinculada #9 para discussão. Certifique se de implementar um mecanismo de timeout para evitar execuções infinitas.
Pilha de tecnologia
elixir
Domain
tooling
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
ElixirStatistics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60