keystonejs/keystone-classic

[0.x] Keystone OOMkilled on large CSV export

Open

#2 592 ouverte le 8 avr. 2016

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)JavaScript (2 288 forks)batch import
bughelp wanted

Métriques du dépôt

Stars
 (14 656 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

When exporting a keystone list as csv, the entire backing collection is loaded into memory before sending the response. This renders the export feature useless for a large collection; keystone will exhaust the available memory on the machine until it gets OOMkilled.

Instead, the export should be streamed back to the client so that we never load more than a cursor's worth of data in memory.

Guide contributeur

Direction de recherche
Examinez l'utilisation des flux Node.js pour envoyer les donnees de la collection directement a la reponse au lieu de tout charger en memoire. Verifiez le chemin du code d'exportation CSV actuel de Keystone.
Stack technique
javascriptnodejs
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Node.jsstreams
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70