grafana/mimir

Add alert for ring members in non-active state

Open

#2 342 ouverte le 8 juil. 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (1 assigné)Go (808 forks)auto 404
enhancementgood first issuemonitoring/alerts

Métriques du dépôt

Stars
 (5 181 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

As an extension to #1960, we should consider adding an alert when ring members are in a non-active state for an unexpected amount of time.

I had suggested something like min by(cluster, namespace) (cortex_ring_members{name="distributor",state!="ACTIVE"}) > 0 for longer than 30min, but feedback from @pracucci highlighted:

  • For some components not supporting the auto-forget feature (e.g. distributors till very recent times) it's expected to have non-ACTIVE ring members for a long time and everything works as expected anyway
  • I think the query you're suggesting would suffer the false positives issue during rollouts

Guide contributeur

Direction de recherche
Stack technique
Domaine
Type d'issue
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Prérequis
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.