keystonejs/keystone-classic

[0.x] Keystone OOMkilled on large CSV export

Aberta

#2.592 aberto em 8 de abr. de 2016

Ver no GitHubGuia do colaborador
 (1 comentário) (0 reação) (0 responsável)JavaScript (2.288 forks)batch import
bughelp wanted

Métricas do repositório

Stars
 (14.656 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

When exporting a keystone list as csv, the entire backing collection is loaded into memory before sending the response. This renders the export feature useless for a large collection; keystone will exhaust the available memory on the machine until it gets OOMkilled.

Instead, the export should be streamed back to the client so that we never load more than a cursor's worth of data in memory.

Guia do colaborador

Direção de pesquisa
Investigue o uso de streams do Node.js para canalizar os dados da coleção diretamente para a resposta em vez de carregar tudo na memória. Verifique o caminho do código de exportação CSV atual do Keystone.
Pilha de tecnologia
javascriptnodejs
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Node.jsstreams
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70