alibaba/GraphScope

[BUG] Loading from large dataframe/large numpy requires holding all chunks in coordinator

Open

#2342 aperta il 23 dic 2022

Vedi su GitHub
 (0 commenti) (1 reazione) (0 assegnatari)HTML (301 fork)batch import
bugcomponent:coordinatorgood first issue

Metriche repository

Star
 (2401 star)
Metriche merge PR
 (Merge medio 1m) (8 PR mergiate in 30 g)

Descrizione

Describe the bug

It looks strange that we need to accumulate all chunks in the request stream into a list in coordinator before sending to analytical engine, that would requires large available memory for the coordinator pod.

https://github.com/alibaba/GraphScope/blob/b80a35599424580325a750e734f8a3b2dead2a5b/coordinator/gscoordinator/dag_manager.py#L77-L107

Guida contributor

Direzione di ricerca
Analizza il codice del coordinatore nelle righe 77-107 di dag manager.py. Il problema è che tutti i chunk vengono accumulati in una lista prima di essere inviati al motore analitico, causando un elevato utilizzo della memoria. Considera di modificare il codice per inviare i chunk direttamente in streaming al motore o per inviarli in batch più piccoli. Esamina l'interfaccia AnalyticalEngine per vedere se supporta l'input in streaming. Non esistono commenti o PR, quindi questa è un'opportunità aperta per l'ottimizzazione.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonDistributed systems
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40