cmu-delphi/forecast-eval

Save output as CSV, and read and write using `data.table`

Aperta

#262 aperta il 17 apr 2023

Vedi su GitHub
 (5 commenti) (0 reazioni) (1 assegnatario)R (3 fork)auto 404
enhancementgood first issue

Metriche repository

Star
 (6 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Using RDS to read/write/store data is slow and not portable. We may want to switch the data pipeline or dashboard to being written in Python in the future, so using a format that Python can easily read would be preferable.

Looking at a comparison of different formats and packages, storing as a CSV and reading/writing using data.table via fread and fwrite seems pretty good. feather could also be an option (is supported in both R and Python) but it's not clear if standard dataframe and dplyr procedures work with it. data.table data can be seamlessly processed either with dplyr or with faster data.table syntax.

Guida contributor

Direzione di ricerca
Identifica tutte le posizioni nel codice in cui vengono letti o scritti file RDS. Sostituisci readRDS con fread e saveRDS con fwrite per i file CSV. Assicurati che i file CSV generati mantengano la stessa struttura e possano essere letti correttamente. Controlla anche se qualche codice a valle dipende da attributi specifici di RDS (ad esempio, tipi di colonna) e modifica di conseguenza.
Tech stack
r
Dominio
backenddata
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitRdata.table
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70