MLSAKIIT/pixly

Implement a more robust web scrapper

Ouverte

#12 ouverte le 14 oct. 2025

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (1 personne assignée)Python (15 forks)auto 404
enhancementhacktoberfest

Métriques du dépôt

Stars
 (20 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Web Scrappers in knowledge_manager.py, extract_wiki_content() and extract_forum_content() sometimes gets blocked by certain websites, (namely the ones present in minecraft.csv)

Recommended Solutions :

  • Use an existing tool such as scrappy or playwright.
  • Mask the scrappers to behave to more like human by introducing delays between different searches.
  • Make the scrapper behave like a browser as much as possible
  • Use Proxies to circumvent IP bans.
  • Rotate a list of User Agents and headers.
  • Make it asynchronous using asyncio + httpx

Guide contributeur

Direction de recherche
Implémentez le web scraping asynchrone avec asyncio et httpx, ajoutez la rotation des user agents, introduisez des délais et utilisez éventuellement des proxies. Utilisez Playwright ou Scrapy si nécessaire.
Stack technique
python
Domaine
backenddata
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonWeb scraping basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60