keystonejs/keystone-classic

[0.x] Keystone OOMkilled on large CSV export

Offen

#2.592 geöffnet am 08.04.2016

Auf GitHub ansehenContributor Guide
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)JavaScript (2.288 Forks)batch import
bughelp wanted

Repository-Metriken

Stars
 (14.656 Sterne)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

When exporting a keystone list as csv, the entire backing collection is loaded into memory before sending the response. This renders the export feature useless for a large collection; keystone will exhaust the available memory on the machine until it gets OOMkilled.

Instead, the export should be streamed back to the client so that we never load more than a cursor's worth of data in memory.

Contributor Guide

Research-Richtung
Untersuche die Verwendung von Node.js Streams, um die Sammlungsdaten direkt an die Antwort zu leiten, anstatt alles in den Speicher zu laden. Überprüfe den aktuellen CSV Export Codepfad von Keystone.
Tech Stack
javascriptnodejs
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Node.jsstreams
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70