Hacktoberfest 2026: die Issues, die Maintainer für den Oktober markiert haben – offen und einsteigerfreundlich. Hacktoberfest-Issues durchsuchen

Allow calculating geometric mean of groups of benchmarks based on tags

Offen
#208 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Anfängerfreundlichkeit
32/100
Issue-Typ
Feature
Klarheit
Größtenteils klar
Aktivitätsstatus
Veraltet
Tech-Stack
python
Bereich
performance, tooling

Rechercherichtung

Beginne damit nachzuverfolgen, wie Benchmark-Tags aus pyperformance's pyproject.yaml in Benchmark-Ergebnissen und Metadaten dargestellt werden, und untersuche anschließend pyperf's compare_to-Ablauf. Die Aufgabe ist abgeschlossen, wenn Tags in den Metadaten offengelegt werden und geometrische Mittelwerte sowohl für jede Tag-Teilmenge als auch für alle Benchmarks berechnet werden, wobei das Verhalten zur Abwärtskompatibilität geklärt ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

[Moved from https://github.com/faster-cpython/ideas/discussions/395]

It's becoming obvious that:

  • The pyperformance suite needs more benchmarks that are more similar to real-world workloads, and we should lean into optimizing for these and using these to report progress.
  • Microbenchmarks of a particular feature are also useful and belong in the benchmark suite, but we shouldn't over-optimize for them or use them as a (misleading) indicator of overall progress.

It seems that one way to address this would be to lean into "tags" more in the pyperformance/pyperf ecosystem. pyperformance already allows for tags in each benchmark's pyproject.yaml.

I propose we:

  1. Output the tags for each benchmark in the benchmark results in the metadata dictionary.
  2. pyperf compare_to would then calculate the geometric mean for each subset of benchmarks for each tag found in the results, as well as "all" benchmarks (existing behavior). This could be behind a flag if backward compatibility matters.

Alternatives:

We could instead use the nested benchmark heirarchy, rather than tags. Personally, I think tags is easier to understand and more flexible (a benchmark could be associated with multiple tags).

Vorherrschende Sprache
Python
Sterne
1k
Forks
203
Ø Merge
1 Std. 20 Min.
Gemergte PRs (30 T.)
2

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus python/pyperformance

Alle Issues in python/pyperformance

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.