public-transport/gtfs-utils

sort.sh needs too much memory

Open

#34 aperta il 22 mar 2021

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)JavaScript (4 fork)github user discovery
help wanted

Metriche repository

Star
 (46 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Because of #27, I switched to Miller, but it just needs too much memory to sort the CSV files.

I aborted sorting stop_times.txt of the 2021-03-19 DELFI dataset after 1h and >12gb of memory usage.

Are there more efficient tools that can sort CSV files?

Guida contributor

Direzione di ricerca
Ricerca algoritmi di ordinamento efficienti per file CSV di grandi dimensioni, come l'ordinamento esterno per fusione o l'uso di strumenti come 'sort' con opzioni di chiave. Valuta l'utilizzo della memoria di diversi approcci.
Tech stack
javascript
Dominio
backend
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40