jetstack/version-checker

version-checker seemingly leaks memory and gets oom-killed

Open

#76 aperta il 20 feb 2021

Vedi su GitHub
 (8 commenti) (5 reazioni) (2 assegnatari)Go (80 fork)auto 404
enhancementhelp wanted

Metriche repository

Star
 (771 star)
Metriche merge PR
 (Merge medio 1m) (2 PR mergiate in 30 g)

Descrizione

I am running version-checker on a single node, quite small cluster with ~60 pods. So far it is working nicely, but I do not understand the memory behavior it has.

I'm basically running the sample deployment file, plus the --test-all-containers flag and some cpu limits:

        resources:
          requests:
            cpu: 10m
            memory: 32M
          limits:
            cpu: 50m
            memory: 128M

kubectl get pod -o yaml

Over time, I see that version-checker approaches the memory limit and then stays near ~99% for a while. After some time, the kernel kills the ct due to OOM and k8s restarts the pod.

Memory chart

However, I do not see anything alarming in the logs, other than some failures and expected permission errors.

This doesn't seem to have any functional impact, but does fire some alerts and doesn't look good on my dashboards :)

Is this behavior intended, and/or is there any way to prevent it?

Guida contributor

Direzione di ricerca
Indaga i pattern di allocazione della memoria nel ciclo principale, eventualmente utilizzando pprof di Go. Controlla eventuali perdite di risorse nelle richieste HTTP al registro o all'API di Kubernetes. Esamina la configurazione di distribuzione per verificare se i limiti sono appropriati e rivedi i commenti dell'issue per eventuali indagini suggerite dai manutentori.
Tech stack
gokubernetes
Dominio
backenddevopsobservability
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Bloccata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Go programming basicsKubernetes fundamentalsmemory profiling with pprof
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
15