Fail asv workflows when performance deteriorates

Offen

#252 erstellt am 09.8.2023 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 3/5
Geschätzter Aufwand: 1-2 Tage
Anfängerfreundlichkeit: 48/100

Issue-Typ: Feature
Klarheit: Klar beschrieben
Aktivitätsstatus: Veraltet
Tech-Stack: github-actions, python
Bereich: ci-cd, devops, performance

Rechercherichtung

Beginnen Sie mit .github/workflows/asv-main.yml, asv-pr.yml und asv-nightly.yml und prüfen Sie, wie jede Datei derzeit Fehler bei asv run oder asv continuous behandelt. Aktualisieren Sie die Fehlerbedingungen der Workflows, während Sie die angeforderten submit-, dashboard-, PR comment- und cache-Schritte beibehalten, und überprüfen Sie anschließend, dass die Workflows diese Schritte weiterhin ausführen, wenn Vergleiche fehlschlagen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

enhancement new option

Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).

asv-main.yml:

Execute asv run without || true, allowing the command to exit with a non-zero return code
Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not

asv-pr.yml:

Execute asv continuous without || true, allowing the command to exit with a non-zero return code
Output the performance comment on the PR if the comparison was successful or not

asv-nightly.yml

Execute asv continuous without || true, allowing the command to exit with a non-zero return code
Write the commit hash to cache, if the previous if the comparison was successful or not

More information about "on failure" executions here.

Vorherrschende Sprache: Jinja
Sterne: 85
Forks: 16
Ø Merge: 6 Std. 18 Min.
Gemergte PRs (30 T.): 1

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus lincc-frameworks/python-project-template

Nice to have: a page in the PPT docs with basics of OOP, modules, rel imports, etc Offen

documentation good first issue

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

lincc-frameworks/python-project-template#589 · Erstellt am 16.6.2026
Remove pinned python version from black precommit hook Offen

bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

lincc-frameworks/python-project-template#575 · Erstellt am 05.2.2026
Add a few "base" pre-commit hooks Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100

lincc-frameworks/python-project-template#574 · Erstellt am 03.2.2026
"collection of notebooks" options gets benchmarks Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100

lincc-frameworks/python-project-template#600 · 1 Kommentar · Erstellt am 03.9.2026
Option to overwrite project README when hydrating Offen

enhancement

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 58/100

lincc-frameworks/python-project-template#588 · Erstellt am 16.6.2026

Alle Issues in lincc-frameworks/python-project-template