mozilla/overscripted

Can we use array extensions to speed up string processing with dask

Ouverte

#36 ouverte le 11 mars 2019

Voir sur GitHub
 (13 commentaires) (0 réaction) (0 personne assignée)Jupyter Notebook (48 forks)auto 404
good first issueresearch question

Métriques du dépôt

Stars
 (73 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Much of the analysis done on this dataset uses dask. Dask is excellent for distributed numerical computing but seems to struggle with strings.

Array extensions unfortunately can't be serialized https://github.com/pandas-dev/pandas/issues/20612

https://github.com/xhochy/fletcher is an array extension that adds string processing functionality.

Doing some standard tasks for this dataset like: collecting all domains, or number of script domains per location domain compare the performance of spark, dask, and dask with extension arrays.

Guide contributeur

Direction de recherche
Mettez en place un benchmark pour comparer les performances de traitement des chaînes entre Spark, Dask et Dask avec les extensions de tableau fletcher en utilisant l'ensemble de données Overscripted.
Stack technique
python
Domaine
data
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonDask
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60