jetstack/version-checker

version-checker seemingly leaks memory and gets oom-killed

Open

#76 ouverte le 20 févr. 2021

Voir sur GitHub
 (8 commentaires) (5 réactions) (2 assignés)Go (80 forks)auto 404
enhancementhelp wanted

Métriques du dépôt

Stars
 (771 stars)
Métriques de merge PR
 (Merge moyen 1m) (2 PRs mergées en 30 j)

Description

I am running version-checker on a single node, quite small cluster with ~60 pods. So far it is working nicely, but I do not understand the memory behavior it has.

I'm basically running the sample deployment file, plus the --test-all-containers flag and some cpu limits:

        resources:
          requests:
            cpu: 10m
            memory: 32M
          limits:
            cpu: 50m
            memory: 128M

kubectl get pod -o yaml

Over time, I see that version-checker approaches the memory limit and then stays near ~99% for a while. After some time, the kernel kills the ct due to OOM and k8s restarts the pod.

Memory chart

However, I do not see anything alarming in the logs, other than some failures and expected permission errors.

This doesn't seem to have any functional impact, but does fire some alerts and doesn't look good on my dashboards :)

Is this behavior intended, and/or is there any way to prevent it?

Guide contributeur

Direction de recherche
Étudiez les modèles d'allocation de mémoire dans la boucle principale, éventuellement en utilisant pprof de Go. Vérifiez les fuites de ressources dans les requêtes HTTP vers le registre ou l'API Kubernetes. Examinez la configuration de déploiement pour voir si les limites sont appropriées, et passez en revue les commentaires de l'issue pour toute investigation suggérée par les mainteneurs.
Stack technique
gokubernetes
Domaine
backenddevopsobservability
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Bloquée
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Go programming basicsKubernetes fundamentalsmemory profiling with pprof
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
15