mozilla/overscripted

Can we use array extensions to speed up string processing with dask

Aberta

#36 aberto em 11 de mar. de 2019

Ver no GitHub
 (13 comentários) (0 reação) (0 responsável)Jupyter Notebook (48 forks)auto 404
good first issueresearch question

Métricas do repositório

Stars
 (73 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Much of the analysis done on this dataset uses dask. Dask is excellent for distributed numerical computing but seems to struggle with strings.

Array extensions unfortunately can't be serialized https://github.com/pandas-dev/pandas/issues/20612

https://github.com/xhochy/fletcher is an array extension that adds string processing functionality.

Doing some standard tasks for this dataset like: collecting all domains, or number of script domains per location domain compare the performance of spark, dask, and dask with extension arrays.

Guia do colaborador

Direção de pesquisa
Configure um benchmark para comparar o desempenho de processamento de strings entre Spark, Dask e Dask com extensões de array fletcher usando o conjunto de dados Overscripted.
Pilha de tecnologia
python
Domain
data
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonDask
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60