keystonejs/keystone-classic

[0.x] Keystone OOMkilled on large CSV export

Open

#2.592 aberto em 8 de abr. de 2016

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)JavaScript (14.656 stars) (2.288 forks)batch import
bughelp wanted

Description

When exporting a keystone list as csv, the entire backing collection is loaded into memory before sending the response. This renders the export feature useless for a large collection; keystone will exhaust the available memory on the machine until it gets OOMkilled.

Instead, the export should be streamed back to the client so that we never load more than a cursor's worth of data in memory.

Guia do colaborador

Pilha de tecnologia
javascriptnodejs
Domain
backend
Tipo Issue
bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
half day
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
Understanding of Node.js streamsBasic knowledge of CSV generationFamiliarity with Keystone API
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40
Direção de pesquisa
Investigate how the current CSV export is implemented. Look for a file handling CSV export (likely in the keystone admin or export module). Implement streaming using Node.js Readable streams or async generators to send data in chunks instead of loading entire collection. Consider using a cursor for database queries to avoid large memory. Reference the issue comments for any additional context.