Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Fix or rewrite scraper engine and scrapers

Abierto
#259 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
20/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Estancado
Área
data-engineering

Línea de trabajo

Empieza por localizar el motor de scraping, el scraper maestro, los scrapers individuales y el manejo del manifiesto mencionados en el issue; después, revisa cómo se seleccionan las fuentes, las capturas de pantalla y las extensiones de archivo. Se considerará terminado cuando se hayan corregido los errores de Demozoo y del motor indicados, se hayan comprobado los demás scrapers y una suite de pruebas básica cubra el comportamiento esperado.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Many years have passed since its first release.

Known demozoo bug:

  • it always select the first secondary mirror assuming that is from scene.org. This is wrong and should be carefully checked
  • demozoo is missing the screenshots, it always downloads only the first one

Known scrape engine bugs:

  • sometimes it sets "screenshots" to None: it should set that field to empty list if no screenshot detected
  • it doesn't handle very well other extensions than gb, therefore, it may be a good idea to fix this thing, sometimes in the manifest there is "gbc" but the engine has already renamed the file in gb

Other improvements:

  • change the general logic to become more flexible (e.g. select best source, include other extensions)
  • write a basic test suite
  • test from scratch other scrapers, since they may have become buggy due to change in the master scraper
Lenguaje dominante
C
Estrellas
95
Forks
52
Merge medio
7 h 33 min
PR fusionados (30 d)
1

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de gbdev/database

Todos los issues de gbdev/database

Issues similares

Más issues de C

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.