scrapinghub/arche

Use `pool` to download items with `filter`

Aperta

#13 aperta il 25 dic 2018

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (17 fork)auto 404
Type: BugType: Performancegood first issue

Metriche repository

Star
 (47 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

The current logic of dividing on batches by start_index and count doesn't account for filter. When using filter, returned items _key don't correspond with actual index so the data repeats.

Guida contributor

Direzione di ricerca
Analizza la logica di download batch nel modulo pool per capire come il filtro influisce sul mapping degli indici e propone una correzione per evitare la ripetizione dei dati.
Tech stack
python
Dominio
backenddata
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75