bencheeorg/benchee

Ability to set a "reference" job

Open

#179 aberto em 19 de fev. de 2018

Ver no GitHub
 (2 comments) (3 reactions) (0 assignees)Elixir (69 forks)batch import
help wanted

Métricas do repositório

Stars
 (1.509 stars)
Métricas de merge de PR
 (Mesclagem média 9d 11h) (5 fundiu PRs em 30d)

Description

Right now when benchmarks are compared, they are always compared to the fastest run. I think it would be useful in some situations to set a "reference" run and compare all the other runs to that.

One example would be the benchmark suite of jason, where I'd like to see all the other encoders reported relative to Jason itself, even though jiffy is the fastest most of the time. Right now, I have to do the additional computations manually, to get the desired numbers, that I can use to annoy people convincing them how fast Jason is 😉.

Guia do colaborador

Direção de pesquisa
Investigue a lógica de comparação existente na base de código do benchee, provavelmente nos módulos formatter/compare. Entenda como as execuções são atualmente comparadas com a execução mais rápida. Implemente uma opção para especificar uma execução de referência por nome e ajuste a comparação para gerar resultados relativos a essa referência. Verifique os comentários para quaisquer requisitos adicionais. Nenhuma pull request vinculada encontrada.
Pilha de tecnologia
elixir
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
ElixirGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70