Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

finalize HPLT 4.0 public release

Aberta
  • Algo errado?
#1 1 comentário 0 reações 1 responsável Ver no GitHub

@oepen já está trabalhando nisso.

Desde 6/8/2026.

Avaliação

Esta issue ainda não foi avaliada.

Descrição

at long last, all of the pieces are on the table: (a) petabytes of raw files from the HPLT pipeline, (b) 450 or so terabytes of the pool, and 44 + 12 + 15 terabytes of final clean, noisy, and poor data after filtering. of these, (a) resides on LUMI-O (with an interim manifesto in /nird/datalake/NS8112K/public/four/pool/lumio.jsonl), while everything else is already pushed to the NIRD download site.

what remains to be done are analytics reports, organizing checksums and download maps, deciding on how to make the pool and raw data useable, and working with @lukasweymann, @gramirez-prompsit, @akutuzov, and the rest of the HPLT team on writing and polishing the download web page(s).

Linguagem predominante
Shell
Estrelas
1
Forks
0
Nenhum PR com merge em 30d

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de OpenEuroLLM/web-data-processing

Todas as issues de OpenEuroLLM/web-data-processing

Issues semelhantes

Mais issues de Shell/Bash

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.