juspay/hyperswitch

feat(metrics): add Vector Throughput & health (via prometheus)

Open

#5030 aperta il 18 giu 2024

Vedi su GitHub
 (4 commenti) (0 reazioni) (2 assegnatari)Rust (4676 fork)batch import
A-infraC-featuregood first issue

Metriche repository

Star
 (42.690 star)
Metriche merge PR
 (Merge medio 6g 22h) (213 PR mergiate in 30 g)

Descrizione

Add a dashboard to monitor vector throughput usage and log loss. The dashboard should show throughput for the following pipes

Throughput

  1. stdout -> loki
  2. stdout -> opensearch
  3. kafka -> loki
  4. Kafka -> transform -> opensearch These flows should include incoming events / outgoing events & dropped events as a time series chart

kafka source should contain consumer lag metrics as well

Health (this would be primarily powered by these metrics)

  • CPU usage of vector
  • Memory usage of vector
  • buffer size
  • errors happening in transforms
  • utilization of each component

Ideally we can take most of the components from a openly available data source by modifying some components to make it geared towards our setup

Guida contributor

Direzione di ricerca
Rivedi la configurazione esistente della sorgente internal metrics ed esplora i dashboard Grafana open source disponibili per Vector da adattare al deployment Hyperswitch.
Tech stack
rustprometheus
Dominio
devopsobservabilitybackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPrometheusVector
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70