MLSAKIIT/pixly

Implement a more robust web scrapper

Offen

#12 geöffnet am 14.10.2025

Auf GitHub ansehenContributor Guide
 (2 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (15 Forks)auto 404
enhancementhacktoberfest

Repository-Metriken

Stars
 (20 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Web Scrappers in knowledge_manager.py, extract_wiki_content() and extract_forum_content() sometimes gets blocked by certain websites, (namely the ones present in minecraft.csv)

Recommended Solutions :

  • Use an existing tool such as scrappy or playwright.
  • Mask the scrappers to behave to more like human by introducing delays between different searches.
  • Make the scrapper behave like a browser as much as possible
  • Use Proxies to circumvent IP bans.
  • Rotate a list of User Agents and headers.
  • Make it asynchronous using asyncio + httpx

Contributor Guide

Research-Richtung
Implementieren Sie asynchrones Web Scraping mit asyncio und httpx, fügen Sie User Agent Rotation hinzu, führen Sie Verzögerungen ein und verwenden Sie optional Proxys. Verwenden Sie bei Bedarf Playwright oder Scrapy.
Tech Stack
python
Domain
backenddata
Issue Type
Refactoring
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonWeb scraping basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60