gosom/google-maps-scraper

Option "do not scrape duplicates"

Open

#48 aperta il 24 apr 2024

Vedi su GitHub
 (2 commenti) (1 reazione) (0 assegnatari)Go (631 fork)auto 404
enhancementgood first issue

Metriche repository

Star
 (4218 star)
Metriche merge PR
 (Merge medio 19g) (12 PR mergiate in 30 g)

Descrizione

Often, when scraping several similar queries (or one query in nearby locations), duplicates may appear in search results, resulting in duplicate entries in the output file and requiring additional time to complete the task. Is it possible to implement a parameter that prevents scraping information about an organization if it has already been scraped earlier?

Guida contributor

Direzione di ricerca
Implementa un flag da riga di comando (es. dedup) che memorizzi gli identificatori univoci (es. place id) dei luoghi già raschiati in un set o file, e salti la raschiatura se l'identificatore esiste già. Controlla il codice esistente per dove vengono elaborati i risultati e aggiungi un controllo di deduplicazione lì.
Tech stack
go
Dominio
cli
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Go
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60