alibaba/GraphScope

[BUG] Loading from large dataframe/large numpy requires holding all chunks in coordinator

Open

#2.342 aberto em 23 de dez. de 2022

Ver no GitHub
 (0 comments) (1 reaction) (0 assignees)HTML (301 forks)batch import
bugcomponent:coordinatorgood first issue

Métricas do repositório

Stars
 (2.401 stars)
Métricas de merge de PR
 (Mesclagem média 1m) (8 fundiu PRs em 30d)

Description

Describe the bug

It looks strange that we need to accumulate all chunks in the request stream into a list in coordinator before sending to analytical engine, that would requires large available memory for the coordinator pod.

https://github.com/alibaba/GraphScope/blob/b80a35599424580325a750e734f8a3b2dead2a5b/coordinator/gscoordinator/dag_manager.py#L77-L107

Guia do colaborador

Direção de pesquisa
Investigue o código do coordenador nas linhas 77-107 de dag manager.py. O problema é que todos os chunks são acumulados em uma lista antes de serem enviados ao mecanismo analítico, causando alto uso de memória. Considere modificar o código para transmitir os chunks diretamente ao mecanismo ou enviá los em lotes menores. Examine a interface AnalyticalEngine para ver se ela suporta entrada em streaming. Não há comentários ou PRs existentes, então esta é uma oportunidade aberta para otimização.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonDistributed systems
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40