gosom/google-maps-scraper

Option "do not scrape duplicates"

Open

#48 opened on 2024年4月24日

GitHub で見る
 (2 comments) (1 reaction) (0 assignees)Go (631 forks)auto 404
enhancementgood first issue

Repository metrics

Stars
 (4,218 stars)
PR merge metrics
 (平均マージ 19d) (30d で 12 merged PRs)

説明

Often, when scraping several similar queries (or one query in nearby locations), duplicates may appear in search results, resulting in duplicate entries in the output file and requiring additional time to complete the task. Is it possible to implement a parameter that prevents scraping information about an organization if it has already been scraped earlier?

コントリビューターガイド

調査方針
コマンドラインフラグ（例： dedup）を実裝し、既にスクレイピング済みの場所の一意識別子（例：place id）をセットまたはファイルに保存し、識別子が既に存在する場合はスクレイピングをスキップします。既存のコードベースで結果が処理される場所を確認し、そこに重複排除チェックを追加してください。
技術スタック
go
領域
cli
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3時間
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
Go
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
60