MLSAKIIT/pixly

Implement a more robust web scrapper

Aperta

#12 aperta il 14 ott 2025

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (1 assegnatario)Python (15 fork)auto 404
enhancementhacktoberfest

Metriche repository

Star
 (20 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Web Scrappers in knowledge_manager.py, extract_wiki_content() and extract_forum_content() sometimes gets blocked by certain websites, (namely the ones present in minecraft.csv)

Recommended Solutions :

  • Use an existing tool such as scrappy or playwright.
  • Mask the scrappers to behave to more like human by introducing delays between different searches.
  • Make the scrapper behave like a browser as much as possible
  • Use Proxies to circumvent IP bans.
  • Rotate a list of User Agents and headers.
  • Make it asynchronous using asyncio + httpx

Guida contributor

Direzione di ricerca
Implementare il web scraping asincrono con asyncio e httpx, aggiungere la rotazione dello user agent, introdurre ritardi e, opzionalmente, utilizzare proxy. Usare Playwright o Scrapy se necessario.
Tech stack
python
Dominio
backenddata
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonWeb scraping basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60