bencheeorg/benchee

Option to benchmark until confidence value is reached

Open

#9 geöffnet am 20. Juni 2016

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Elixir (69 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (1.509 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 11h) (5 gemergte PRs in 30 T)

Beschreibung

I'm not sure how this works, but there are measures in statistics to be confident of your results (standard deviation we have and I think it is one of them) - with this given we could add an option that says benchmark until this confidence level is reached, with some timeout though so it doesn't run forever if results vary too much naturally.

Contributor Guide

Research-Richtung
Untersuche, wie bestehende Optionen wie :time und :warmup in der benchee Bibliothek implementiert sind (z. B. in Benchee.Configuration und Benchee.Runner). Verstehe, wie eine neue Option hinzugefügt werden kann, die die Beendigung basierend auf einem Konfidenzschwellenwert auslöst. Berücksichtige die Verwendung statistischer Formeln für Konfidenzintervalle und beziehe dich auf die verlinkte Issue #9 für die Diskussion. Stelle sicher, dass ein Timeout Mechanismus implementiert wird, um unendliche Läufe zu verhindern.
Tech Stack
elixir
Domain
tooling
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
ElixirStatistics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60