keystonejs/keystone-classic

[0.x] Keystone OOMkilled on large CSV export

Open

#2 592 ouverte le 8 avr. 2016

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)JavaScript (14 656 stars) (2 288 forks)batch import
bughelp wanted

Description

When exporting a keystone list as csv, the entire backing collection is loaded into memory before sending the response. This renders the export feature useless for a large collection; keystone will exhaust the available memory on the machine until it gets OOMkilled.

Instead, the export should be streamed back to the client so that we never load more than a cursor's worth of data in memory.

Guide contributeur

Stack technique
javascriptnodejs
Domaine
backend
Type d'issue
bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
half day
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
Understanding of Node.js streamsBasic knowledge of CSV generationFamiliarity with Keystone API
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40
Direction de recherche
Investigate how the current CSV export is implemented. Look for a file handling CSV export (likely in the keystone admin or export module). Implement streaming using Node.js Readable streams or async generators to send data in chunks instead of loading entire collection. Consider using a cursor for database queries to avoid large memory. Reference the issue comments for any additional context.