Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

[FEAT] Add performance benchmarking and profiling infrastructure

Abierto
  • ¿Algo no está bien?
#970 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
github-actions, python
Área
ci-cd, performance, testing, tooling

Línea de trabajo

Comienza revisando los programas existentes en integration/data/prove-rs/, pyk/testing/_profiler.py, kmir.py, smir.py y la configuración de Docker en test.yml. Sigue cómo están organizados los tests de integración de pytest y el Makefile antes de decidir cómo encajan entre sí los puntos de entrada de benchmarking y profiling. Se considerará terminado cuando se cumplan los criterios de aceptación indicados, incluidos los artefactos de benchmark, los resúmenes de CI, la salida de profiling y la documentación en docs/dev/.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Motivation

As the MIR semantics grows in complexity and test coverage expands (see #964), there is no systematic way to detect performance regressions or identify bottlenecks in symbolic execution. Issue #655 shows that performance problems have already surfaced (slow use functions), but we lack the tooling to investigate them systematically or to catch regressions automatically.

Proposed Feature

1. Benchmark Suite

Define a curated set of prove-rs test cases as a benchmark suite — a subset of the existing integration/data/prove-rs/ programs chosen to cover representative workloads (arithmetic, branching, enums, closures, iterators, etc.).

Each benchmark would record:

  • Wall-clock time for kmir prove-rs
  • Number of proof steps / rewrite rule applications (via K's --statistics output)
  • Peak memory usage

Results are stored as a JSON artifact (e.g., bench-results.json) committed or uploaded as a workflow artifact for comparison.

2. Python-level Profiling via pyk.testing.Profiler

pyk already ships a cProfile-based Profiler class (pyk/testing/_profiler.py). We can integrate it into the pytest integration-test runner to generate .prof files for selected tests, enabling:

  • Identification of hot Python functions in the SMIR→K transformation pipeline (kmir.py, smir.py)
  • Easy investigation of issues like #655 without manual instrumentation

A --profile pytest option (or a dedicated make profile-integration target) would enable this on demand.

3. GitHub Actions Workflow: benchmark.yml

A new workflow triggered on:

  • push to master — baseline tracking
  • workflow_dispatch — on-demand profiling for PRs under investigation
  • Optionally: pull_request with a label like perf to gate on demand

Steps:

  1. Build stable-mir-json + kmir (reuse Docker setup from test.yml)
  2. Run the benchmark suite, capturing timing/step counts
  3. Upload bench-results.json as a workflow artifact
  4. On master push: compare against the previous baseline stored in a GitHub Actions cache and post a summary to the job summary ($GITHUB_STEP_SUMMARY)
  5. Optionally: use benchmark-action/github-action-benchmark to track trends over time and comment on PRs when a regression threshold is exceeded
4. make benchmark Target

A local Makefile target for developers to run the benchmark suite locally and view a summary, mirroring CI behaviour.

Acceptance Criteria

  • Benchmark suite defined (list of representative test cases with expected step counts)
  • make benchmark target runs locally and outputs a timing/step-count table
  • --profile mode generates .prof files for pytest integration tests using pyk.testing.Profiler
  • benchmark.yml GitHub Actions workflow uploads benchmark artifacts on every master push
  • CI posts a step-summary table comparing current vs. baseline results
  • Documentation added to docs/dev/ on how to run benchmarks and interpret results

Related

  • #655 — slow use functions investigation
  • #964 — external test suite integration (benchmark suite could overlap)
  • pyk/testing/_profiler.py — existing profiler infrastructure available in the pyk dependency
Lenguaje dominante
Python
Estrellas
52
Forks
5
Sin PR fusionados en 30 d

Preparar el entorno

Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de runtimeverification/mir-semantics

Todos los issues de runtimeverification/mir-semantics

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.