apache/airflow

Add Prometheus Provider

Aperta

#20.053 aperta il 5 dic 2021

Vedi su GitHubGuida contributor
 (8 commenti) (0 reazioni) (0 assegnatari)Python (16.781 fork)batch import
area:providersgood first issuekind:new provider request

Metriche repository

Star
 (44.809 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Description

Prometheus supports a pushGateway option to push metrics to Prometheus. This might be useful in cases where metrics needs to be pushed in the ETL stage.

For example, BigQuery has metrics stored in information_schema tables which can be queried using Standard SQL. Its useful to run the Query and store the metrics in prometheus on a periodic basis.

https://github.com/m-lab/prometheus-bigquery-exporter

Suggestion is to add a Prometheus provider first and have a separate PR for BigQueryToPrometheus transfer feature.

Use case/motivation

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Studia la struttura esistente del provider Airflow (ad esempio in airflow/providers/) e implementa un nuovo provider Prometheus che si integri con il sistema di metriche di Airflow, seguendo i pattern utilizzati da altri provider.
Tech stack
pythonprometheus
Dominio
observability
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonAirflow
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60