bencheeorg/benchee

Ability to set a "reference" job

Open

#179 aperta il 19 feb 2018

Vedi su GitHub
 (2 commenti) (3 reazioni) (0 assegnatari)Elixir (69 fork)batch import
help wanted

Metriche repository

Star
 (1509 star)
Metriche merge PR
 (Merge medio 9g 11h) (5 PR mergiate in 30 g)

Descrizione

Right now when benchmarks are compared, they are always compared to the fastest run. I think it would be useful in some situations to set a "reference" run and compare all the other runs to that.

One example would be the benchmark suite of jason, where I'd like to see all the other encoders reported relative to Jason itself, even though jiffy is the fastest most of the time. Right now, I have to do the additional computations manually, to get the desired numbers, that I can use to annoy people convincing them how fast Jason is 😉.

Guida contributor

Direzione di ricerca
Indaga la logica di confronto esistente nella codebase di benchee, probabilmente nei moduli formatter/compare. Comprendi come le esecuzioni vengono attualmente confrontate con quella più veloce. Implementa un'opzione per specificare un'esecuzione di riferimento per nome e modifica il confronto per produrre risultati relativi a quel riferimento. Controlla i commenti per eventuali requisiti aggiuntivi. Nessuna pull request collegata trovata.
Tech stack
elixir
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ElixirGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70