Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Crawling curated list of sites: Data Sourcing Candidate seeds spreadsheet

Ouverte
  • Quelque chose ne va pas ?
#299 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
25/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
html
Domaine
data-engineering, web-dev

Piste de recherche

Commencez par la feuille de calcul liée « BigScience Data Sourcing Participants » et les exigences de filtrage CommonCrawl/WARC. Définissez les métriques à collecter pour chaque domaine, le contenu WARC minimal à conserver et la destination du dataset sur Hugging Face. La tâche est considérée comme terminée lorsque les domaines sélectionnés ont été traités, que les métriques sont communiquées et que les enregistrements pertinents ont été téléversés avec les informations d’URL demandées.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

data catalog

We want to be able to obtain all web and media content associated with a specific list pre-identified domain names.

This issue tracks potential crawling seeds identified BigScience Data Sourcing Participants, primarily in Spanish and SEA English (and three Chinese).

The steps to follow are:

  1. filter the CommonCrawl (or another archive) for all WARC records with one of the given domain names
  • filtering all dumps form the last two years
  1. obtain overall metrics and metrics per domain name
  • page counts, content languages, content types, etc.
  1. upload all of the relevant WARC records for each domain name to a HF dataset in the BigScience Catalogue Data Organization
  • minimal filtering of WARC records to include human-readable pages AND pages that reference links to objects we want to download (e.g. PDFs)
  • Extract the HTML tags corresponding to all URLs in the WARC entries
  • optional: post-process the above list to identify outgoing links, extract their domain name, and content type
  • optional: run text extraction

In particular, the list of domain names mentioned in outgoing link may be used to obtain a "depth 1 pseudo-crawl" by running the same process again

cc @sebastian-nagel

Langage dominant
HTML
Étoiles
91
Forks
47
Aucune PR mergée en 30 j

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de bigscience-workshop/data_tooling

Toutes les issues de bigscience-workshop/data_tooling

Issues similaires

Plus d'issues Data Engineering

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.