juspay/hyperswitch

feat(metrics): add Vector Throughput & health (via prometheus)

Open

#5 030 ouverte le 18 juin 2024

Voir sur GitHub
 (4 commentaires) (0 réactions) (2 assignés)Rust (4 676 forks)batch import
A-infraC-featuregood first issue

Métriques du dépôt

Stars
 (42 690 stars)
Métriques de merge PR
 (Merge moyen 6j 22h) (213 PRs mergées en 30 j)

Description

Add a dashboard to monitor vector throughput usage and log loss. The dashboard should show throughput for the following pipes

Throughput

  1. stdout -> loki
  2. stdout -> opensearch
  3. kafka -> loki
  4. Kafka -> transform -> opensearch These flows should include incoming events / outgoing events & dropped events as a time series chart

kafka source should contain consumer lag metrics as well

Health (this would be primarily powered by these metrics)

  • CPU usage of vector
  • Memory usage of vector
  • buffer size
  • errors happening in transforms
  • utilization of each component

Ideally we can take most of the components from a openly available data source by modifying some components to make it geared towards our setup

Guide contributeur

Direction de recherche
Examinez la configuration existante de la source internal metrics et explorez les tableaux de bord Grafana open source disponibles pour Vector afin de les adapter au déploiement Hyperswitch.
Stack technique
rustprometheus
Domaine
devopsobservabilitybackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitPrometheusVector
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70