Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Generate and Store Benchmarking Reports via ECS/Airflow Pipeline to AWS

Aperta
  • Qualcosa non va?
#508 1 commento 0 reazioni 1 assegnatario Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

@lakshmi-kovvuri1 ci sta già lavorando.

Dal 5/3/2026.

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

enhancement

Overview
Implement an automated benchmarking workflow using Airflow on AWS ECS to generate, store, and track performance reports for the digital-land-python phase pipeline. Reports will be centrally stored in AWS for monitoring and historical analysis.

Current State

Benchmarking is run manually or locally.
No centralized storage or historical record of performance.
No automation or scheduled execution.
Current performance baseline: 2.7× improvement post‑Polars refactor.

Desired State

Automated daily/scheduled benchmarking via Airflow DAG.
ECS‑based container execution for scalability and isolation.
Reports stored in S3 with versioning + lifecycle policies.
Metrics and reports accessible via dashboards/APIs.
Ability to track historical performance trends.

Acceptance Criteria

Airflow DAG created for end‑to‑end benchmarking orchestration.
Benchmarking script containerized (Dockerfile for ECS).
IAM roles/policies configured for ECS tasks + S3 access.
S3 bucket configured with:

Versioning
Lifecycle policies
Structured folder layout: benchmarks/{date}/{report_name}

Collect performance metrics including:

Phase execution times
Memory usage
Data throughput (rows/sec)
Total pipeline runtime

Generate reports in JSON, CSV, and HTML formats.
Airflow task dependencies, retries, and error handling in place.
CloudWatch monitoring enabled for ECS tasks.
Deployment steps fully documented.
Alerts set up for performance degradation (>10% drop).
All integration tests pass in the containerized environment.

Lingua principale
Python
Stelle
10
Fork
4
Merge medio
20h 2m
PR unite (30g)
14

Preparare l'ambiente

  • Include un Dockerfile o un file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di digital-land/digital-land-python

Tutte le issue di digital-land/digital-land-python

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.