gosom/google-maps-scraper

Option "do not scrape duplicates"

Open

#48 aberto em 24 de abr. de 2024

Ver no GitHub
 (2 comments) (1 reaction) (0 assignees)Go (631 forks)auto 404
enhancementgood first issue

Métricas do repositório

Stars
 (4.218 stars)
Métricas de merge de PR
 (Mesclagem média 19d) (12 fundiu PRs em 30d)

Description

Often, when scraping several similar queries (or one query in nearby locations), duplicates may appear in search results, resulting in duplicate entries in the output file and requiring additional time to complete the task. Is it possible to implement a parameter that prevents scraping information about an organization if it has already been scraped earlier?

Guia do colaborador

Direção de pesquisa
Implemente uma flag de linha de comando (por exemplo, dedup) que armazena identificadores únicos (por exemplo, place id) de lugares já raspados em um conjunto ou arquivo, e ignore a raspagem se o identificador já existir. Verifique a base de código existente para onde os resultados são processados e adicione uma verificação de desduplicação lá.
Pilha de tecnologia
go
Domain
cli
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Go
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60