Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Fix or rewrite scraper engine and scrapers

Aperta
#259 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
20/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Ambito
data-engineering

Direzione di ricerca

Inizia individuando il motore di scraping, lo scraper principale, i singoli scraper e la gestione del manifest menzionati nell’issue, quindi esamina come vengono selezionate le fonti, gli screenshot e le estensioni dei file. Il lavoro è completato quando i bug di Demozoo e del motore elencati sono stati corretti, gli altri scraper sono stati verificati e una suite di test di base copre il comportamento previsto.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Many years have passed since its first release.

Known demozoo bug:

  • it always select the first secondary mirror assuming that is from scene.org. This is wrong and should be carefully checked
  • demozoo is missing the screenshots, it always downloads only the first one

Known scrape engine bugs:

  • sometimes it sets "screenshots" to None: it should set that field to empty list if no screenshot detected
  • it doesn't handle very well other extensions than gb, therefore, it may be a good idea to fix this thing, sometimes in the manifest there is "gbc" but the engine has already renamed the file in gb

Other improvements:

  • change the general logic to become more flexible (e.g. select best source, include other extensions)
  • write a basic test suite
  • test from scratch other scrapers, since they may have become buggy due to change in the master scraper
Lingua principale
C
Stelle
95
Fork
52
Merge medio
7h 33m
PR unite (30g)
1

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di gbdev/database

Tutte le issue di gbdev/database

Issue simili

Altre issue su C

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.