bencheeorg/benchee

Option to benchmark until confidence value is reached

Open

#9 ouverte le 20 juin 2016

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Elixir (69 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (1 509 stars)
Métriques de merge PR
 (Merge moyen 9j 11h) (5 PRs mergées en 30 j)

Description

I'm not sure how this works, but there are measures in statistics to be confident of your results (standard deviation we have and I think it is one of them) - with this given we could add an option that says benchmark until this confidence level is reached, with some timeout though so it doesn't run forever if results vary too much naturally.

Guide contributeur

Direction de recherche
Étudiez comment les options existantes comme :time et :warmup sont implémentées dans la bibliothèque benchee (par exemple, dans Benchee.Configuration et Benchee.Runner). Comprenez comment ajouter une nouvelle option qui déclenche l'arrêt en fonction d'un seuil de confiance. Envisagez d'utiliser des formules statistiques pour les intervalles de confiance et reportez vous à l'issue liée #9 pour la discussion. Assurez vous de mettre en place un mécanisme de timeout pour éviter les exécutions infinies.
Stack technique
elixir
Domaine
tooling
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
ElixirStatistics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60