Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Extremely slow cloning when using large SemVer range

Aperta
#1,769 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
go
Ambito
performance

Direzione di ricerca

Inizia leggendo il codice di clonazione in fluxcd/pkg/git e confronta il modo in cui vengono gestiti gli intervalli SemVer ampi con il comportamento di estrazione dei tag di ImagePolicies descritto nell’issue. Riproduci la discrepanza con un GitRepository che utilizzi un intervallo ampio e il numero ridotto di tag segnalato, quindi esegui il profiling dell’utilizzo della CPU di source-controller. Il lavoro è completato quando viene supportata l’estrazione di pattern SemVer per GitRepositories oppure viene identificato e risolto il collo di bottiglia nel confronto degli intervalli.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Some info to set the stage:

  1. We use a monorepo style structure
  2. GitRepositories do not support parsing and extracting tags like ImagePolicies
    • you can parse+extract SemVer in OCI tags like my-app-v1.2.3 => 1.2.3
    • you must use exclusively plain SemVer tags for GitRepositories
  3. To get around this deficiency, we've allocated chunks of major SemVer git tags to projects in the repo.
    • project-1 gets 0.0.0 -> 999999.x.x
    • project-2 gets 1000000.0.0 -> 1999999.x.x
    • ...

This means when a team wants to deploy a dev version of kustomizations that control their app, it ends up looking something like this:

---
apiVersion: source.toolkit.fluxcd.io/v1
kind: GitRepository
metadata:
  name: project-1-dev
  namespace: flux-system
spec:
  interval: 1m0s
  ref:
    semver: '>=1000000 <2000000'
  secretRef:
    name: example-ssh-key
  url: ssh://git@github.com/owner/monorepo.git

This has been working very well for a long time, but there is a huge performance problem when the SemVar range is that big. I want to be clear, projects do not actually use that many tags (as writing, the most I see is ~60 majors).

Here is a graph of the enormous performance discrepancy:
Image
In the graph you can see that dev cloning is 50-75x slower and this project in particular only has 49 tags. On top of this it also causes relatively high CPU usage from the source-controller pod.

Potential solutions (in order of preference)
  1. Allow SemVer pattern extractions like ImagePolicies. This way we don't have to (ab)use git tags like this.
  2. Figure out why it takes so long to compare SemVer tags. I looked around in fluxcd/pkg/git but nothing in the cloning code stood out to me.
Lingua principale
Go
Stelle
283
Fork
252
Merge medio
1h 6m
PR unite (30g)
12

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di fluxcd/source-controller

Tutte le issue di fluxcd/source-controller

Issue simili

Altre issue su Go

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.