Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

Crawling curated list of sites: Data Sourcing Candidate seeds spreadsheet

Aberta
  • Algo errado?
#299 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
5/5
Tempo estimado
Mais de uma semana
Facilidade para iniciantes
25/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Estagnada
Stack de tecnologia
html
Domínio
data-engineering, web-dev

Direção de pesquisa

Comece pela planilha vinculada «BigScience Data Sourcing Participants» e pelos requisitos de filtragem do CommonCrawl/WARC. Defina as métricas a serem coletadas por domínio, o conteúdo mínimo de WARC a ser mantido e o destino do dataset no Hugging Face. Considera-se concluído quando os domínios selecionados tiverem sido processados, as métricas tiverem sido reportadas e os registros relevantes tiverem sido enviados com as informações de URL solicitadas.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

data catalog

We want to be able to obtain all web and media content associated with a specific list pre-identified domain names.

This issue tracks potential crawling seeds identified BigScience Data Sourcing Participants, primarily in Spanish and SEA English (and three Chinese).

The steps to follow are:

  1. filter the CommonCrawl (or another archive) for all WARC records with one of the given domain names
  • filtering all dumps form the last two years
  1. obtain overall metrics and metrics per domain name
  • page counts, content languages, content types, etc.
  1. upload all of the relevant WARC records for each domain name to a HF dataset in the BigScience Catalogue Data Organization
  • minimal filtering of WARC records to include human-readable pages AND pages that reference links to objects we want to download (e.g. PDFs)
  • Extract the HTML tags corresponding to all URLs in the WARC entries
  • optional: post-process the above list to identify outgoing links, extract their domain name, and content type
  • optional: run text extraction

In particular, the list of domain names mentioned in outgoing link may be used to obtain a "depth 1 pseudo-crawl" by running the same process again

cc @sebastian-nagel

Linguagem predominante
HTML
Estrelas
91
Forks
47
Nenhum PR com merge em 30d

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de bigscience-workshop/data_tooling

Todas as issues de bigscience-workshop/data_tooling

Issues semelhantes

Mais issues de Data Engineering

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.