apache/airflow

Add Prometheus Provider

Open

#20.053 aberto em 5 de dez. de 2021

Ver no GitHub
 (8 comments) (0 reactions) (0 assignees)Python (16.781 forks)batch import
area:providersgood first issuekind:new provider request

Métricas do repositório

Stars
 (44.809 stars)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Description

Prometheus supports a pushGateway option to push metrics to Prometheus. This might be useful in cases where metrics needs to be pushed in the ETL stage.

For example, BigQuery has metrics stored in information_schema tables which can be queried using Standard SQL. Its useful to run the Query and store the metrics in prometheus on a periodic basis.

https://github.com/m-lab/prometheus-bigquery-exporter

Suggestion is to add a Prometheus provider first and have a separate PR for BigQueryToPrometheus transfer feature.

Use case/motivation

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Estude a estrutura existente do provedor Airflow (por exemplo, em airflow/providers/) e implemente um novo provedor Prometheus que se integre ao sistema de métricas do Airflow, seguindo os padrões usados por outros provedores.
Pilha de tecnologia
pythonprometheus
Domain
observability
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonAirflow
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60