mozilla/overscripted

Can we use array extensions to speed up string processing with dask

Aperta

#36 aperta il 11 mar 2019

Vedi su GitHub
 (13 commenti) (0 reazioni) (0 assegnatari)Jupyter Notebook (48 fork)auto 404
good first issueresearch question

Metriche repository

Star
 (73 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Much of the analysis done on this dataset uses dask. Dask is excellent for distributed numerical computing but seems to struggle with strings.

Array extensions unfortunately can't be serialized https://github.com/pandas-dev/pandas/issues/20612

https://github.com/xhochy/fletcher is an array extension that adds string processing functionality.

Doing some standard tasks for this dataset like: collecting all domains, or number of script domains per location domain compare the performance of spark, dask, and dask with extension arrays.

Guida contributor

Direzione di ricerca
Impostare un benchmark per confrontare le prestazioni di elaborazione delle stringhe tra Spark, Dask e Dask con estensioni di array fletcher utilizzando il dataset Overscripted.
Tech stack
python
Dominio
data
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonDask
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60