alibaba/GraphScope

[BUG] Performance degradation when worker scales in small datasets.

Open

#2834 aperta il 7 giu 2023

Vedi su GitHub
 (14 commenti) (0 reazioni) (0 assegnatari)HTML (301 fork)batch import
bugcomponent:gaecomponent:pythongood first issue

Metriche repository

Star
 (2401 star)
Metriche merge PR
 (Merge medio 1m) (8 PR mergiate in 30 g)

Descrizione

Describe the bug We tested page_rank on datagen-7_5-fb.e dataset using graphscope:0.21.0 k8s mode, but it failed in add_edegs.

To Reproduce Steps to reproduce the behavior:

  1. create session using k8s mode
  2. read the dataset
  3. create graph using 'add_edges'
  4. failed in 'add_edges'

Expected behavior create graph successful.

Screenshots We found the logs in coordinator pod in k8s. During 'add_edges', the logs show that craete engine headless services .. ... ... kubernetes.client.exceptions.ApiException:(409) Reson:Conflict ..... services 'gs-engine-onmitz-headless' already exists.

At last, coordinator pod did not work.

Environment (please complete the following information):

  • GraphScope version: [0.21.0]
  • OS: [Ubuntu 20.04]
  • Kubernetes Version [v1.21.4]

Additional context We tested dataset 'twitter.e' on k8s mode, all is ok. We tested dataset 'datagen-7_5-fb.e' on hosts mode, all is ok. Maybe big dataset didnot work on k8s mode? (graphscope 0.21.0)

Guida contributor

Direzione di ricerca
Investiga l'errore di conflitto 'gs engine onmitz headless already exists' nel deployment del servizio headless di Kubernetes. Controlla se il servizio viene eliminato correttamente prima di essere ricreato, o se esiste una condizione di gara nella logica di avvio del motore. Esamina il codice del coordinatore GraphScope per la gestione dei servizi e la gestione del client Kubernetes.
Tech stack
pythonkubernetes
Dominio
backendinfrastructuredata
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
KubernetesPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40