Static memory used by engines
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Bug
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- jupyter, python
- Domínio
- distributed-systems, performance
Direção de pesquisa
Comece reproduzindo a configuração relatada: inicie 16 engines em dois nodes e compare a memória de baseline de cada node com sua memória após a inicialização, usando htop conforme descrito. Separe o uso de memória dos processos engine e nanny e, em seguida, identifique o que responde pela alocação estática da engine. Considera-se concluído quando a pegada de memória ociosa por engine tiver sido reduzida e a alteração tiver sido verificada com a mesma medição.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
It seems like the engines use a lot of "static" memory, i.e. when we start the engines, they take up noticeable memory even when nothing has been executed. In our testing, we started 16 engines across 2 nodes, and as soon as we did, the memory usage on each node went from ~150MB to ~1.2GB, i.e. it seems like 8 engines consume ~1.05GB static memory. This is of course both the engine and nanny process, but based on htop , almost all of it seems to come from the engine process. ~134MB static memory usage per engine seems a bit high. Is there a way we could reduce this?
- Linguagem predominante
- Jupyter Notebook
- Estrelas
- 2.6k
- Forks
- 1k
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de ipython/ipyparallel
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
ipython/ipyparallel#1029 · 9 comentários ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 35/100
ipython/ipyparallel#984 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
ipython/ipyparallel#937 · 4 comentários ·
-
Packages and definitions loaded in the regular kernel are not known by engines and vice versaAbertaquestion
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
ipython/ipyparallel#897 · 12 comentários ·
-
bug
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
ipython/ipyparallel#882 ·
Todas as issues de ipython/ipyparallel
Issues semelhantes
-
auth manager-contract: serve grant takes an unused serve actor and computes a discarded actors valueAbertaarea:auth bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
Mantenedores costumam responder em até 1 dia
-
cluster: leader-forward and WAL replication reconnect still dial without honoring their contextTalvez já em andamento @efegokdemir assumiu hoje. Abertabug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
Basekick-Labs/arc#1064 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia
-
defect
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
-
Distributed group_mean casts group ids to float32, losing precision vs non-distributed pathTalvez já em andamento @OnePunchMonk assumiu há 1 dia. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
Mantenedores costumam responder em até 1 dia