scrapinghub/arche

Use `pool` to download items with `filter`

Aberta

#13 aberto em 25 de dez. de 2018

Ver no GitHub
 (1 comentário) (0 reação) (0 responsável)Python (17 forks)auto 404
Type: BugType: Performancegood first issue

Métricas do repositório

Stars
 (47 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

The current logic of dividing on batches by start_index and count doesn't account for filter. When using filter, returned items _key don't correspond with actual index so the data repeats.

Guia do colaborador

Direção de pesquisa
Investigue a lógica de download em lote no módulo pool para entender como o filtro afeta o mapeamento de índices e proponha uma correção para evitar a repetição de dados.
Pilha de tecnologia
python
Domain
backenddata
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitPython
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75